# 溫和介紹機器學習中的偏差 - 方差權衡 > 原文： [https://machinelearningmastery.com/gentle-introduction-to-the-bias-variance-trade-off-in-machine-learning/](https://machinelearningmastery.com/gentle-introduction-to-the-bias-variance-trade-off-in-machine-learning/) 通過偏差 - 方差權衡的鏡頭可以最好地理解有監督的機器學習算法。 在這篇文章中，您將發現Bias-Variance權衡，以及如何使用它來更好地理解機器學習算法并獲得更好的數據表現。 讓我們開始吧。  溫和地介紹機器學習中的偏差 - 方差權衡 [Matt Biddulph](https://www.flickr.com/photos/mbiddulph/3188732826) 的照片，保留一些權利。 ## 偏差和方差概述 在有監督的機器學習中，算法從訓練數據中學習模型。 任何監督機器學習算法的目標是在給定輸入數據（X）的情況下最佳地估計輸出變量（Y）的映射函數（f）。映射函數通常稱為目標函數，因為它是給定的監督機器學習算法旨在近似的函數。 任何機器學習算法的預測誤差可分為三個部分： * 偏差錯誤 * 方差錯誤 * 不可減少的錯誤 無論使用何種算法，都不能減少不可減少的誤差。這是從選擇的問題框架引入的錯誤，可能是由影響輸入變量到輸出變量的映射的未知變量等因素引起的。 在這篇文章中，我們將重點關注我們可以用我們的機器學習算法影響的兩個部分。偏差誤差和方差誤差。 ## 獲取免費算法思維導圖  方便的機器學習算法思維導圖的樣本。 我已經創建了一個由類型組織的60多種算法的方便思維導圖。 下載，打印并使用它。 ## 偏差錯誤 偏差是模型所做的簡化假設，使目標函數更容易學習。 通常，參數算法具有較高的偏差，使得它們學習起來快速且易于理解，但通常不太靈活。反過來，它們對復雜問題的預測表現較低，而這些復雜問題無法滿足算法偏差的簡化假設。 * **低偏差**：建議對目標函數形式的假設較少。 * **High-Bias** ：建議對目標函數形式的更多假設。 低偏差機器學習算法的示例包括：決策樹，k-最近鄰居和支持向量機。 高偏差機器學習算法的示例包括：線性回歸，線性判別分析和邏輯回歸。 ## 方差錯誤 方差是如果使用不同的訓練數據，目標函數的估計將改變的量。 目標函數是通過機器學習算法從訓練數據估計的，因此我們應該期望算法具有一些方差。理想情況下，它不應該從一個訓練數據集到下一個訓練數據集發生太大變化，這意味著該算法擅長選擇輸入和輸出變量之間隱藏的底層映射。 具有高方差的機器學習算法受到訓練數據的細節的強烈影響。這意味著訓練的細節會影響用于表征映射函數的參數的數量和類型。 * **低方差**：通過更改訓練數據集，建議對目標函數估計的微小變化。 * **高方差**：建議通過更改訓練數據集對目標函數的估計進行大的更改。 通常，具有很大靈活性的非參數機器學習算法具有高方差。例如，決策樹具有較高的方差，如果樹木在使用前未被修剪，則該方差甚至更高。 低方差機器學習算法的示例包括：線性回歸，線性判別分析和邏輯回歸。 高方差機器學習算法的示例包括：決策樹，k-最近鄰居和支持向量機。 ## 偏差 - 方差權衡 任何監督機器學習算法的目標是實現低偏差和低方差。反過來，該算法應該實現良好的預測表現。 您可以在上面的示例中看到一般趨勢： * 參數或線性機器學習算法通常具有高偏差但方差較小。 * 非參數或非線性機器學習算法通常具有低偏差但具有高方差。 機器學習算法的參數化通常是平衡偏差和方差的斗爭。 以下是為特定算法配置偏差 - 方差權衡的兩個示例： * k-最近鄰算法具有低偏差和高方差，但是可以通過增加k的值來改變折衷，這增加了有助于預測的鄰居的數量，并且反過來增加了模型的偏差。 * 支持向量機算法具有低偏差和高方差，但是可以通過增加影響訓練數據中允許的余量的違反次數的C參數來改變折衷，這增加了偏差但減小了方差。 沒有逃避機器學習中的偏差和方差之間的關系。 * 增加偏差會減少差異。 * 增加方差將減少偏差。 在這兩個問題和您選擇的算法以及您選擇配置它們的方式之間存在權衡取舍，在您的問題權衡中尋找不同的余額 實際上，我們無法計算實際偏差和方差誤差項，因為我們不知道實際的基礎目標函數。然而，作為一個框架，偏差和方差提供了理解機器學習算法在追求預測表現方面的行為的工具。 ## 進一步閱讀 如果您希望了解有關偏差，方差和偏差 - 方差權衡的更多信息，本節列出了一些推薦資源。 * 維基百科上的[偏差 - 方差權衡](https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff) * [了解偏差 - 方差權衡](http://scott.fortmann-roe.com/docs/BiasVariance.html) * 維基百科上的[歸納偏見](https://en.wikipedia.org/wiki/Inductive_bias) ## 摘要 在這篇文章中，您發現了機器學習算法的偏差，方差和偏差 - 方差權衡。 你現在知道： * 偏差是模型所做的簡化假設，使目標函數更容易近似。 * 方差是在給定不同訓練數據的情況下目標函數的估計將改變的量。 * 權衡是偏差和方差引入的誤差之間的緊張關系。 您對偏差，方差或偏差 - 方差權衡有任何疑問嗎？發表評論并提出您的問題，我會盡力回答。