# k 最近鄰 > 原文： [https://pythonbasics.org/k-nearest-neighbors/](https://pythonbasics.org/k-nearest-neighbors/) 認識 K 最近鄰，這是最簡單的機器學習算法之一。 該算法用于**分類**和**回歸**。 在這兩種使用中，輸入均包含特征空間中 k 個最接近的訓練示例。 另一方面，輸出取決于大小寫。 * 在“K 最近鄰分類”中，輸出是類成員。 * 在“K 最近鄰回歸”中，輸出是對象的屬性值。 K 最近鄰易于實現，并且能夠執行復雜的分類任務。 ## KNN ### k 最近鄰 由于它沒有專門的訓練階段，因此被稱為**惰性**學習算法。 它是一種非參數學習算法，因此不會對基礎數據做任何假設。 由于大多數數據都沒有遵循理論上的假設，因此是一項有用的功能。 k 最近鄰的最大優勢在于，該算法無需進行訓練即可進行預測，從而可以添加新數據。 最大的缺點是該算法難以計算高維數據的距離。 ### 應用 K 最近鄰有很多應用程序。 一些示例可以是： * 收集財務特征以將具有相似財務特征的人與數據庫進行比較，以進行信用評級。 * 將可能成為潛在選民的人分類為一個政黨或另一黨，以預測政治。 * 模式識別可檢測手寫，圖像識別和視頻識別。 ### k 最近鄰算法 **K 最近鄰（knn）**具有您應了解的理論。 * 首先，K 最近鄰僅計算新數據點到所有其他訓練數據點的距離。 它可以是任何類型的距離。 * 其次，選擇 K 個最近的數據點，其中 K 可以是任何整數。 * 第三，它將數據點分配給大多數 K 個數據點所屬的類。 理解實際的算法是一個更好的例子。 假設我們要使用的數據集有兩個變量。 任務是將帶有“X”的新數據點分類為“紅色”類或“藍色”類。  數據點的坐標值為`x = 45`和`y = 50`。 現在我們假設 K 的值為 2（兩個簇）。 K 最近鄰算法開始計算點 X 與所有點的距離。 它找到到點 X（黑點）的距離最近的點。 最后一步是為三個最近的點中的大多數都屬于的類分配新點。 ## 示例 ### Scikit-Learn k 最近鄰 為了實現 K 最近鄰，我們需要一種編程語言和一個庫。 我們建議使用 Python 和 Scikit-Learn。 步驟很簡單，程序員必須 > 導入庫。 > 導入數據集。 > 進行預處理。 > （可選）拆分訓練/測試數據。 > 做出預測。 > （可選）評估算法。 現在，我們可以使用 K 最近鄰算法。 ```py from sklearn.neighbors import NearestNeighbors import numpy as np X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]]) K = 2 nbrs = NearestNeighbors(n_neighbors=K, algorithm='ball_tree').fit(X) distances, indices = nbrs.kneighbors(X) print(distances) ``` ### k 最近鄰分類器 我們用`x`和`y`值創建一個二維空間。 目標包含可能的輸出類（通常稱為標簽）。 knn 可用作分類器。 使用 scikit-learn `KNeighborsClassifier`，其中參數`n_neighbors`為`K`。 然后可以對新值進行預測。 ```py from sklearn import datasets from sklearn import metrics from sklearn.neighbors import KNeighborsClassifier import numpy as np # dataset X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]]) target = [0, 0, 0, 1, 1, 1] # fit a k-nearest neighbor model to the data K = 3 model = KNeighborsClassifier(n_neighbors = K) model.fit(X, target) print(model) # make predictions print( '(-2,-2) is class'), print( model.predict([[-2,-2]]) ) print( '(1,3) is class'), print( model.predict([[1,3]]) ) ``` ### k 最近鄰回歸 knn 可用于回歸問題。 在下面的示例中，每月租金價格基于平方米（m^2）進行預測。 它使用 sklearn 的`KNeighborsRegressor`實現。 由于數據集很小，因此將 K 設置為 2 個最近的鄰居。 ```py from sklearn.neighbors import KNeighborsRegressor # dataset (X=m^2, y=rental price) X = [[40], [45], [60], [70]] y = [1000, 1200, 2000, 2500] # fit neigh = KNeighborsRegressor(n_neighbors=2) neigh.fit(X, y) # predict print('Monthly Rental Price for 65m^2 in $'), print(neigh.predict([[65]])) ``` [下載示例和練習](https://gum.co/MnRYU)