# 如何知道您的機器學習模型是否具有良好的表現 > 原文： [https://machinelearningmastery.com/how-to-know-if-your-machine-learning-model-has-good-performance/](https://machinelearningmastery.com/how-to-know-if-your-machine-learning-model-has-good-performance/) 在為預測建模問題開發機器學習模型之后，您如何知道模型的表現是否良好？ 這是初學者提出的一個常見問題。 作為初學者，您經常尋求這個問題的答案，例如：你希望有人告訴你 _x_ ％的準確度或 _x_ 的錯誤分數是否良好。 在這篇文章中，您將發現如何為自己明確回答這個問題，并了解您的模型技能是否良好。 閱讀這篇文章后，你會知道： * 可以使用基線模型來發現您的問題的表現基礎，通過該基礎模型可以評估所有其他模型。 * 鑒于數據和算法的隨機性，所有預測模型都包含錯誤，并且在實踐中不可能得到滿分。 * 應用機器學習的真正工作是探索可能模型的空間，并發現相對于特定數據集的基線，良好的模型分數是什么樣的。 讓我們開始吧。  如何知道您的機器學習模型是否具有良好的表現 照片來自 [dr_tr](https://www.flickr.com/photos/dr_tr/5418520924/) ，保留一些權利。 ## 概觀 這篇文章分為4部分;他們是： 1. 模范技巧是相對的 2. 基線模型技巧 3. 什么是最好的分數？ 4. 發現模型技能的極限 ## 模范技巧是相對的 您的預測建模問題是獨一無二的。 這包括您擁有的特定數據，您正在使用的工具以及您將獲得的技能。 您的預測建模問題以前沒有得到解決。因此，我們無法知道一個好的模型是什么樣的，或者它可能具有什么樣的技能。 您可能會根據域的知識了解熟練模型的外觀，但您不知道這些技能分數是否可實現。 我們能做的最好的事情是將您的特定數據的機器學習模型的表現與同樣數據訓練的其他模型進行比較。 機器學習模型的表現是相對的，并且良好模型可以實現什么分數的想法才有意義，并且只能在同樣數據訓練的其他模型的技能分數的上下文中進行解釋。 ## 基線模型技巧 由于機器學習模型的表現是相對的，因此開發穩健的基線至關重要。 基線是一種簡單且易于理解的程序，用于對預測建模問題進行預測。該模型的技能為您的特定數據集上的機器學習模型的最低可接受表現提供了基礎。 基線模型的結果提供了可以評估所有其他模型訓練數據的技能的點。 基線模型的三個示例包括： * 預測回歸問題的平均結果值。 * 預測分類問題的模式結果值。 * 將輸入預測為單變量時間序列預測問題的輸出（稱為持久性）。 然后可以將問題的基線表現用作衡量所有其他模型進行比較和評估的標準。 如果模型達到低于基線的表現，則出現問題（例如，存在錯誤）或模型不適合您的問題。 ## 什么是最好的分數？ 如果您正在處理分類問題，最高分是100％準確性。 如果您正在處理回歸問題，則最佳得分為0.0錯誤。 這些分數不可能達到上/下限。所有預測建模問題都有預測誤差。期待它。該錯誤來自一系列來源，例如： * 數據樣本不完整。 * 數據中的噪音。 * 建模算法的隨機性。 您無法獲得最佳分數，但最好知道您所選擇的度量的最佳表現。您知道真正的模型表現將落在基線和最佳分數之間的范圍內。 相反，您必須在數據集上搜索可能模型的空間，并發現好壞分數的樣子。 ## 發現模型技能的極限 獲得基線后，您可以在預測建模問題上探索模型表現的范圍。 事實上，這是項目的艱苦工作和目標：找到一個可以證明可靠的模型，可以很好地對特定數據集進行預測。 這個問題有很多策略;您可能希望考慮的兩個是： * **開始高**。選擇一種復雜且已知可在一系列預測模型問題上表現良好的機器學習方法，例如隨機森林或梯度提升。評估問題的模型并將結果用作近似的高端基準，然后找到實現類似表現的最簡單模型。 * **詳盡搜索**。評估您可以在問題上考慮的所有機器學習方法，并選擇相對于基線實現最佳表現的方法。 “_開始高_”方法很快，可以幫助您定義模型技能的界限以期待問題并找到可以獲得類似結果的簡單（例如Occam Razor）模型。它還可以幫助您快速找出問題是否可解決/可預測，這很重要，因為并非所有問題都是可預測的。 “_窮舉搜索_”速度很慢，非常適合長期運行的項目，其中模型技能比幾乎任何其他問題更重要。我經常對這種方法進行各種類似方法的批量測試，并稱之為[現場檢查](https://machinelearningmastery.com/why-you-should-be-spot-checking-algorithms-on-your-machine-learning-problems/)方法。 這兩種方法都會為您提供一組模型表現分數，您可以將其與基線進行比較。 你會知道一個好的分數是什么樣的，壞分數是什么樣的。 ## 進一步閱讀 如果您希望深入了解，本節將提供有關該主題的更多資源。 * [如何使用Python進行時間序列預測的基線預測](https://machinelearningmastery.com/persistence-time-series-forecasting-with-python/) * [如何使用Python從頭開始實施基線機器學習算法](https://machinelearningmastery.com/implement-baseline-machine-learning-algorithms-scratch-python/) * [機器學習表現改進備忘單](https://machinelearningmastery.com/machine-learning-performance-improvement-cheat-sheet/) ## 摘要 在這篇文章中，您發現您的預測建模問題是唯一的，并且只能相對于基準表現知道良好的模型表現分數。 具體來說，你學到了： * 可以使用基線模型來發現您的問題的表現基礎，通過該基礎模型可以評估所有其他模型。 * 鑒于數據和算法的隨機性，所有預測模型都包含錯誤，并且在實踐中不可能獲得完美分數。 * 應用機器學習的真正工作是探索可能模型的空間，并發現相對于特定數據集的基線，良好的模型分數是什么樣的。 你有任何問題嗎？ 在下面的評論中提出您的問題，我會盡力回答。