# 如何減少最終機器學習模型中的方差 > 原文： [https://machinelearningmastery.com/how-to-reduce-model-variance/](https://machinelearningmastery.com/how-to-reduce-model-variance/) 最終的機器學習模型是對所有可用數據進行訓練的模型，然后用于對新數據進行預測。 大多數最終模型的一個問題是它們的預測會出現差異。 這意味著每次適合模型時，您會得到一組略有不同的參數，這些參數反過來會使預測略有不同。有時候比你想象的更多，有時甚至更少。 這可能令人沮喪，尤其是當您希望將模型部署到操作環境中時。 在這篇文章中，您將了解如何考慮最終模型中的模型方差以及可用于減少最終模型預測方差的技術。 閱讀這篇文章后，你會知道： * 最終模型預測的方差問題。 * 在估計參數時，如何測量模型方差以及如何解決方差。 * 您可以使用的技術來減少最終模型的預測差異。 讓我們開始吧。  如何減少最終機器學習模型中的差異 照片由 [Kirt Edblom](https://www.flickr.com/photos/kirt_edblom/41951791832/) 拍攝，保留一些權利。 ## 最終模型 一旦您發現哪個模型和模型超參數可以獲得數據集的最佳技能，您就可以準備最終模型了。 對所有可用數據進行最終模型訓練，例如：訓練和測試集。 如果您不知道結果，那么您將使用該模型對新數據進行預測。 最終模型是您應用的機器學習項目的結果。 要了解有關準備最終模型的更多信息，請參閱帖子： * [如何訓練最終機器學習模型](https://machinelearningmastery.com/train-final-machine-learning-model/) ## 偏見和差異 偏差 - 方差權衡是應用機器學習中的一個概念性思想，有助于理解模型中的誤差來源。 * **偏差**是指學習算法中的假設，它縮小了可以學習的范圍。這是有用的，因為它可以加速學習并導致穩定的結果，代價是與現實不同的假設。 * **方差**是指學習算法對訓練數據的細節的敏感性，例如，噪音和具體觀察。這是好的，因為模型將專門用于數據，代價是學習隨機噪聲并且每次在不同數據上訓練時都會變化。 偏差 - 方差權衡是一種概念工具，可以考慮這些誤差來源以及它們如何始終保持平衡。 算法中的偏差越大意味著方差越小，反之亦然。 您可以在此帖子中了解有關偏差變化權衡的更多信息： * [機器學習中偏差 - 方差權衡的溫和介紹](https://machinelearningmastery.com/gentle-introduction-to-the-bias-variance-trade-off-in-machine-learning/) 你可以控制這種平衡。 許多機器學習算法都有超參數，直接或間接允許您控制偏差 - 方差權衡。 例如， _k_ - 最近鄰居中的 _k_ 是一個例子。小 _k_ 導致具有高方差和低偏差的預測。大 _k_ 導致預測具有小的方差和大的偏差。 ## 最終模型中的方差問題 大多數最終模型都存在問題：它們存在差異。 每次通過具有高方差的算法訓練模型時，您將得到略微不同的結果。 反過來，稍微不同的模型會做出稍微不同的預測，無論好壞。 這是訓練最終模型的一個問題，因為我們需要使用該模型對我們不知道答案的真實數據進行預測，并且我們希望這些預測盡可能好。 我們希望獲得我們可以獲得的最佳模型版本。 我們希望方差對我們有利。 如果我們無法實現這一點，至少我們希望方差在做出預測時不會落在我們身上。 ## 測量最終模型中的方差 最終模型中有兩種常見的差異來源： * 訓練數據中的噪音。 * 在機器學習算法中使用隨機性。 我們上面介紹的第一種類型。 第二種類型影響那些在學習過程中利用隨機性的算法。 三個常見的例子包括： * 隨機森林中隨機分裂點的選擇。 * 神經網絡中的隨機權重初始化。 * 以隨機梯度下降的方式改組訓練數據。 您可以使用訓練數據測量特定模型中的兩種差異類型。 * **測量算法方差**：通過在同一訓練數據集上重復算法評估并計算模型技能的方差或標準差，可以測量算法的隨機性引入的方差。 * **測量訓練數據方差**：訓練數據引入的方差可以通過在不同訓練數據樣本上重復算法評估來測量，但保持偽隨機數發生器的種子固定然后計算方差或模型技能的標準差。 通常，通過在訓練數據集上運行重復的k倍交叉驗證然后計算模型技能的方差或標準偏差來估計組合方差。 ## 減少估計的方差 如果我們想減少預測中的方差量，我們必須增加偏差。 考慮人口參數的簡單統計估計的情況，例如從小的隨機數據樣本估計平均值。 對均值的單一估計將具有高方差和低偏差。 這是直觀的，因為如果我們重復這個過程30次并計算估計平均值的標準偏差，我們會看到很大的差異。 減少方差的解決方案也很直觀。 對來自域的許多不同的小數據樣本重復估計，并根據[中心極限定理](https://machinelearningmastery.com/a-gentle-introduction-to-the-central-limit-theorem-for-machine-learning/)計算估計的平均值。 估計平均值的平均值將具有較低的方差。我們假設估算的平均值比單一估算值更準確，我們增加了偏差。 另一種方法是大幅增加我們估計人口平均值的數據樣本的大小，依賴于大數的[定律。](https://machinelearningmastery.com/a-gentle-introduction-to-the-law-of-large-numbers-in-machine-learning/) ## 減少最終模型的差異 用于減少總體統計量方差的原則也可用于減少最終模型的方差。 我們必須增加偏見。 根據最終模型的具體形式（例如樹，重量等），您可以通過這個想法獲得創意。 以下是您可能想要嘗試的三種方法。 如果可能的話，我建議設計一個測試工具來試驗并發現一種最適合您的方法，或者對您的特定數據集和機器學習算法最有意義的方法。 ### 1.最終模型的集合預測 您可以安裝多個最終模型，而不是安裝單個最終模型。 最終模型組可以一起用作整體。 對于給定的輸入，集合中的每個模型進行預測，并且最終輸出預測被視為模型的預測的平均值。 靈敏度分析可用于測量集合大小對預測方差的影響。 ### 2.最終模型的集合參數 如上所述，可以創建多個最終模型而不是單個最終模型。 不是從最終模型計算預測的平均值，而是可以將單個最終模型構造為最終模型組的[參數](https://machinelearningmastery.com/difference-between-a-parameter-and-a-hyperparameter/)的集合。 這只有在每個模型具有相同數量的參數（例如神經網絡權重或回歸系數）的情況下才有意義。 例如，考慮具有三個系數[b0，b1，b2]的線性回歸模型。我們可以擬合一組線性回歸模型，并計算最終b0作為每個模型中b0參數的平均值，并對b1和b2重復此過程。 同樣，靈敏度分析可用于測量集合大小對預測方差的影響。 ### 3.增加訓練數據集大小 依靠大數定律，也許最簡單的減少模型方差的方法是使模型適合更多的訓練數據。 在那些不容易獲得更多數據的情況下，也許可以使用數據增強方法。 建議對訓練數據集大小與預測方差進行靈敏度分析，以找出收益遞減點。 ## 脆弱的思考 有一些方法可以準備最終模型，旨在讓最終模型中的方差為您而不是對您起作用。 這些方法的共性是它們尋求單一最佳最終模型。 兩個例子包括： * **為什么不修理隨機種子？** 您可以在擬合最終模型時修復隨機種子。這將限制由算法的隨機性引入的方差。 * **為什么不早點停車？** 您可以在訓練期間檢查模型的技能，并在保持集上的模型技能開始降低時停止訓練。 我認為這些方法和其他類似方法都很脆弱。 也許你可以賭博并瞄準差異，以對你有利。這對于機器學習競賽來說可能是一個很好的方法，因為沒有真正的缺點就是失去賭博。 我不會。 我認為瞄準最佳平均表現并限制下行更為安全。 我認為，導航最終模型的偏差 - 方差權衡的技巧是在樣本中思考，而不是單個模型。優化平均模型表現。 ## 進一步閱讀 如果您希望深入了解，本節將提供有關該主題的更多資源。 * [如何訓練最終機器學習模型](https://machinelearningmastery.com/train-final-machine-learning-model/) * [機器學習中偏差 - 方差權衡的溫和介紹](https://machinelearningmastery.com/gentle-introduction-to-the-bias-variance-trade-off-in-machine-learning/) * [維基百科上的偏差 - 方差權衡](https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff) * [Checkpoint Ensembles：單一訓練過程中的集合方法](https://arxiv.org/abs/1710.03282)，2017。 ## 摘要 在這篇文章中，您發現了如何考慮最終模型中的模型方差以及可用于減少最終模型預測方差的技術。 具體來說，你學到了： * 最終模型預測的方差問題。 * 在估計參數時，如何測量模型方差以及如何解決方差。 * 您可以使用的技術來減少最終模型的預測差異。 你有任何問題嗎？ 在下面的評論中提出您的問題，我會盡力回答。