# 實現多類 SVM 我們還可以使用 SVM 對多個類進行分類，而不僅僅是兩個類。在本文中，我們將使用多類 SVM 對虹膜數據集中的三種類型的花進行分類。 ## 做好準備 通過設計，SVM 算法是二元分類器。但是，有一些策略可以讓他們在多個類上工作。兩種主要策略稱為“一對一”，“一對一”。 一對一是一種策略，其中為每個可能的類對創建二分類器。然后，對具有最多投票的類的點進行預測。這可能在計算上很難，因為我們必須為`k`類創建`k!/(k - 2)!2!`個分類器。 實現多類分類器的另一種方法是執行一對一策略，我們為`k`類的每個類創建一個分類器。點的預測類將是創建最大 SVM 邊距的類。這是我們將在本節中實現的策略。 在這里，我們將加載虹膜數據集并使用高斯內核執行多類非線性 SVM。虹膜數據集是理想的，因為有三個類（setosa，virginica 和 versicolor）。我們將為每個類創建三個高斯核 SVM，并預測存在最高邊界的點。 ## 操作步驟 我們按如下方式處理秘籍： 1. 首先，我們加載我們需要的庫并啟動圖，如下所示： ```py import matplotlib.pyplot as plt import numpy as np import tensorflow as tf from sklearn import datasets sess = tf.Session() ``` 1. 接下來，我們將加載虹膜數據集并拆分每個類的目標。我們將僅使用萼片長度和花瓣寬度來說明，因為我們希望能夠繪制輸出。我們還將每個類的`x`和`y`值分開，以便最后進行繪圖。使用以下代碼： ```py iris = datasets.load_iris() x_vals = np.array([[x[0], x[3]] for x in iris.data]) y_vals1 = np.array([1 if y==0 else -1 for y in iris.target]) y_vals2 = np.array([1 if y==1 else -1 for y in iris.target]) y_vals3 = np.array([1 if y==2 else -1 for y in iris.target]) y_vals = np.array([y_vals1, y_vals2, y_vals3]) class1_x = [x[0] for i,x in enumerate(x_vals) if iris.target[i]==0] class1_y = [x[1] for i,x in enumerate(x_vals) if iris.target[i]==0] class2_x = [x[0] for i,x in enumerate(x_vals) if iris.target[i]==1] class2_y = [x[1] for i,x in enumerate(x_vals) if iris.target[i]==1] class3_x = [x[0] for i,x in enumerate(x_vals) if iris.target[i]==2] class3_y = [x[1] for i,x in enumerate(x_vals) if iris.target[i]==2] ``` 1. 與實現非線性 SVM 秘籍相比，我們在此示例中所做的最大改變是，許多維度將發生變化（我們現在有三個分類器而不是一個）。我們還將利用矩陣廣播和重塑技術一次計算所有三個 SVM。由于我們一次性完成這一操作，我們的`y_target`占位符現在具有`[3, None]`的尺寸，我們的模型變量`b`將被初始化為`[3, batch_size]`。使用以下代碼： ```py batch_size = 50 x_data = tf.placeholder(shape=[None, 2], dtype=tf.float32) y_target = tf.placeholder(shape=[3, None], dtype=tf.float32) prediction_grid = tf.placeholder(shape=[None, 2], dtype=tf.float32) b = tf.Variable(tf.random_normal(shape=[3,batch_size])) ``` 1. 接下來，我們計算高斯核。由于這僅取決于輸入的 x 數據，因此該代碼不會改變先前的秘籍。使用以下代碼： ```py gamma = tf.constant(-10.0) dist = tf.reduce_sum(tf.square(x_data), 1) dist = tf.reshape(dist, [-1,1]) sq_dists = tf.add(tf.subtract(dist, tf.multiply(2., tf.matmul(x_data, tf.transpose(x_data)))), tf.transpose(dist)) my_kernel = tf.exp(tf.multiply(gamma, tf.abs(sq_dists))) ``` 1. 一個重大變化是我們將進行批量矩陣乘法。我們將最終得到三維矩陣，我們將希望在第三個索引上廣播矩陣乘法。我們沒有為此設置數據和目標矩陣。為了使`x^T · x`等操作跨越額外維度，我們創建一個函數來擴展這樣的矩陣，將矩陣重新整形為轉置，然后在額外維度上調用 TensorFlow 的`batch_matmul`。使用以下代碼： ```py def reshape_matmul(mat): v1 = tf.expand_dims(mat, 1) v2 = tf.reshape(v1, [3, batch_size, 1]) return tf.batch_matmul(v2, v1) ``` 1. 創建此函數后，我們現在可以計算雙重損失函數，如下所示： ```py model_output = tf.matmul(b, my_kernel) first_term = tf.reduce_sum(b) b_vec_cross = tf.matmul(tf.transpose(b), b) y_target_cross = reshape_matmul(y_target) second_term = tf.reduce_sum(tf.multiply(my_kernel, tf.multiply(b_vec_cross, y_target_cross)),[1,2]) loss = tf.reduce_sum(tf.negative(tf.subtract(first_term, second_term))) ``` 1. 現在，我們可以創建預測內核。請注意，我們必須小心`reduce_sum`函數并且不要在所有三個 SVM 預測中減少，因此我們必須告訴 TensorFlow 不要用第二個索引參數對所有內容求和。使用以下代碼： ```py rA = tf.reshape(tf.reduce_sum(tf.square(x_data), 1),[-1,1]) rB = tf.reshape(tf.reduce_sum(tf.square(prediction_grid), 1),[-1,1]) pred_sq_dist = tf.add(tf.subtract(rA, tf.multiply(2., tf.matmul(x_data, tf.transpose(prediction_grid)))), tf.transpose(rB)) pred_kernel = tf.exp(tf.multiply(gamma, tf.abs(pred_sq_dist))) ``` 1. 當我們完成預測內核時，我們可以創建預測。這里的一個重大變化是預測不是輸出的`sign()`。由于我們正在實現一對一策略，因此預測是具有最大輸出的分類器。為此，我們使用 TensorFlow 的內置`argmax()`函數，如下所示： ```py prediction_output = tf.matmul(tf.mul(y_target,b), pred_kernel) prediction = tf.arg_max(prediction_output-tf.expand_dims(tf.reduce_mean(prediction_output,1), 1), 0) accuracy = tf.reduce_mean(tf.cast(tf.equal(prediction, tf.argmax(y_target,0)), tf.float32)) ``` 1. 現在我們已經擁有了內核，損失和預測函數，我們只需要聲明我們的優化函數并初始化我們的變量，如下所示： ```py my_opt = tf.train.GradientDescentOptimizer(0.01) train_step = my_opt.minimize(loss) init = tf.global_variables_initializer() sess.run(init) ``` 1. 該算法收斂速度相對較快，因此我們不必運行訓練循環超過 100 次迭代。我們使用以下代碼執行此操作： ```py loss_vec = [] batch_accuracy = [] for i in range(100): rand_index = np.random.choice(len(x_vals), size=batch_size) rand_x = x_vals[rand_index] rand_y = y_vals[:,rand_index] sess.run(train_step, feed_dict={x_data: rand_x, y_target: rand_y}) temp_loss = sess.run(loss, feed_dict={x_data: rand_x, y_target: rand_y}) loss_vec.append(temp_loss) acc_temp = sess.run(accuracy, feed_dict={x_data: rand_x, y_target: rand_y, prediction_grid:rand_x}) batch_accuracy.append(acc_temp) if (i+1)%25==0: print('Step #' + str(i+1)) print('Loss = ' + str(temp_loss)) Step #25 Loss = -2.8951 Step #50 Loss = -27.9612 Step #75 Loss = -26.896 Step #100 Loss = -30.2325 ``` 1. 我們現在可以創建點的預測網格并對所有點運行預測函數，如下所示： ```py x_min, x_max = x_vals[:, 0].min() - 1, x_vals[:, 0].max() + 1 y_min, y_max = x_vals[:, 1].min() - 1, x_vals[:, 1].max() + 1 xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02), np.arange(y_min, y_max, 0.02)) grid_points = np.c_[xx.ravel(), yy.ravel()] grid_predictions = sess.run(prediction, feed_dict={x_data: rand_x, y_target: rand_y, prediction_grid: grid_points}) grid_predictions = grid_predictions.reshape(xx.shape) ``` 1. 以下是繪制結果，批量準確率和損失函數的代碼。為簡潔起見，我們只顯示最終結果： ```py plt.contourf(xx, yy, grid_predictions, cmap=plt.cm.Paired, alpha=0.8) plt.plot(class1_x, class1_y, 'ro', label='I. setosa') plt.plot(class2_x, class2_y, 'kx', label='I. versicolor') plt.plot(class3_x, class3_y, 'gv', label='I. virginica') plt.title('Gaussian SVM Results on Iris Data') plt.xlabel('Petal Length') plt.ylabel('Sepal Width') plt.legend(loc='lower right') plt.ylim([-0.5, 3.0]) plt.xlim([3.5, 8.5]) plt.show() plt.plot(batch_accuracy, 'k-', label='Accuracy') plt.title('Batch Accuracy') plt.xlabel('Generation') plt.ylabel('Accuracy') plt.legend(loc='lower right') plt.show() plt.plot(loss_vec, 'k-') plt.title('Loss per Generation') plt.xlabel('Generation') plt.ylabel('Loss') plt.show() ``` 然后我們得到以下繪圖：  圖 10：在伽馬= 10 的虹膜數據集上的多類（三類）非線性高斯 SVM 結果 我們觀察前面的屏幕截圖，其中顯示了所有三個虹膜類，以及為每個類分類的點網格。 ## 工作原理 本文中需要注意的重點是我們如何改變算法以同時優化三個 SVM 模型。我們的模型參數`b`有一個額外的維度可以考慮所有三個模型。在這里，我們可以看到，由于 TensorFlow 處理額外維度的內置函數，算法擴展到多個類似算法相對容易。 下一章將介紹最近鄰方法，這是一種用于預測目的的非常強大的算法。