# 如何研究機器學習算法行為 > 原文： [https://machinelearningmastery.com/how-to-investigate-machine-learning-algorithm-behavior/](https://machinelearningmastery.com/how-to-investigate-machine-learning-algorithm-behavior/) 機器學習算法是需要學習才能理解的復雜系統。 機器學習算法的靜態描述是一個很好的起點，但不足以了解算法的行為方式。您需要查看算法的實際效果。 通過對運行中的機器學習算法進行試驗，您可以根據可以在不同類別的問題上實現的結果，建立對算法參數的因果關系的直覺。 在這篇文章中，您將了解如何研究機器學習算法。您將學習一個簡單的5步過程，您可以使用它來設計和完成您的第一個機器學習算法實驗。 您會發現，機器學習實驗不僅適用于學術，也可以實現，并且在掌握的過程中需要進行實驗，因為您將獲得的經驗因果知識在其他任何地方都無法獲得。 [](https://3qeqpr26caki16dnhd19sv6by6v-wpengine.netdna-ssl.com/wp-content/uploads/2014/10/Investigate-Machine-Learning-Algorithm-Behavior.jpg) 調查機器學習算法行為 照片由[美國陸軍RDECOM](http://www.flickr.com/photos/rdecom/7222825892) ，保留一些權利 ## 什么是調查機器學習算法 在研究機器學習算法時，您的目標是找到能夠在問題和問題類別中推廣的良好結果的行為。 您通過對算法行為進行系統研究來研究機器學習算法。這是通過設計和執行受控實驗來完成的。 完成實驗后，您可以解釋并顯示結果。結果可讓您了解算法更改之間的因果關系，行為以及您可以實現的結果。 ## 獲取免費算法思維導圖  方便的機器學習算法思維導圖的樣本。 我已經創建了一個由類型組織的60多種算法的方便思維導圖。 下載，打印并使用它。 ## 如何研究機器學習算法 在本節中，我們將介紹一個簡單的5步過程，您可以使用它來研究機器學習算法。 ### 1.選擇算法 選擇您有疑問的算法。 這可能是您在問題上使用的算法，或者您認為在將來可能要使用的其他上下文中表現良好的算法。 出于實驗目的，采用現成的算法實現是有用的。這為您提供了一個基線，如果有任何錯誤，很可能很少。 [自己實現算法](http://machinelearningmastery.com/how-to-implement-a-machine-learning-algorithm/ "How to Implement a Machine Learning Algorithm")可以是[了解算法程序](http://machinelearningmastery.com/benefits-of-implementing-machine-learning-algorithms-from-scratch/ "Benefits of Implementing Machine Learning Algorithms From Scratch")的好方法，但也可以在實驗中引入其他變量，如錯誤和必須的無數微決策為每個算法實現。 ### 2.確定一個問題 您必須有一個您正在尋求回答的研究問題。問題越具體，答案就越有用。 一些示例問題包括： * 將kNN中的k增加為訓練數據集大小的一部分有什么影響？ * 在SVM中選擇不同內核對二元分類問題的影響是什么？ * 不同屬性縮放對二元分類問題的邏輯回歸有什么影響？ * 在隨機森林中將隨機屬性添加到訓練數據集對分類準確性的影響是什么？ 設計您想要回答的有關算法的問題。考慮列出問題的五個變體并深入研究最具體的問題。 ### 3.設計實驗 選擇將構成實驗的問題中的元素。 例如，從上面提出以下問題：“_不同屬性縮放對二元分類問題的邏輯回歸有什么影響？_ “ 您可以從實驗設計中選擇的元素包括： * **屬性縮放方法**。您可以包括規范化，標準化，將屬性提升為冪，取對數等方法。 * **Logistic回歸**。您要使用哪種邏輯回歸實現。 * **二元分類問題**。具有數字屬性的不同標準二元分類問題。將需要多個問題，一些具有相同比例的屬性（如[電離層](https://archive.ics.uci.edu/ml/datasets/Ionosphere)）和其他具有各種尺度屬性的問題（如[糖尿病](https://archive.ics.uci.edu/ml/datasets/Pima+Indians+Diabetes)）。 * **表現**。需要模型表現分數，例如分類準確性。 花點時間仔細選擇問題的元素，以便最好地回答您的問題。 ### 4.執行實驗和報告結果 完成你的實驗。 如果算法是隨機的，您可能需要多次重復實驗運行并采用均值和標準差。 如果您正在尋找實驗運行（例如不同參數）之間的結果差異，您可能需要使用統計工具來指示差異是否具有統計顯著性（例如學生t檢驗）。 像 [R](http://machinelearningmastery.com/what-is-r/ "What is R") 和 [scikit-learn](http://machinelearningmastery.com/a-gentle-introduction-to-scikit-learn-a-python-machine-learning-library/ "A Gentle Introduction to Scikit-Learn: A Python Machine Learning Library") / SciPy這樣的工具有完成這些類型實驗的工具，但您需要將它們組合在一起并編寫實驗腳本。其他工具如 [Weka](http://machinelearningmastery.com/what-is-the-weka-machine-learning-workbench/ "What is the Weka Machine Learning Workbench") 將工具內置到圖形用戶界面中（請參閱此[教程，了解如何在Weka](http://machinelearningmastery.com/design-and-run-your-first-experiment-in-weka/ "Design and Run your First Experiment in Weka") 中運行您的第一個實驗）。您使用的工具比實驗設計的問題和嚴謹性更重要。 總結您的實驗結果。您可能想要使用表格和圖形。單獨呈現結果是不夠的。他們只是數字。您必須將數字與問題聯系起來，并通過實驗設計過濾其含義。 結果表明您的研究問題是什么？ 戴上你持懷疑態度的帽子。您可以對結果有什么漏洞或限制。不要回避這一部分。了解這些局限性與了解實驗結果同樣重要。 ### 5.重復 重復這個過程。 繼續調查您選擇的算法。您甚至可能希望使用不同的參數或不同的測試數據集重復相同的實驗。您可能希望解決實驗中的限制。 不要停止一個實驗，開始建立知識庫和算法的直覺。 通過一些簡單的工具，一些好的問題以及嚴謹和懷疑的良好表現，您可以非常快速地開始對算法的行為提出世界級的理解。 ## 調查算法不僅適用于學者 您可以研究機器學習算法的行為。 你不需要更高的學位，你不需要接受研究方法的訓練，你不需要成為一名學者。 機器學習算法的仔細系統調查對任何擁有計算機和興趣的人都是開放的。事實上，如果你想掌握機器學習，你必須熟悉機器學習算法的系統研究。知識根本就不在那里，你必須自己出去并憑經驗收集它。 在談論您的發現的適用性時，您需要持懷疑態度并要小心。 您不需要有任何獨特的問題。通過調查標準問題，您將獲得很多收益，例如在一些標準數據集中推廣的一個參數的影響。您可能會發現常見的最佳實踐啟發式的局限性或對立點。 ## 行動步驟 在這篇文章中，您發現了通過受控實驗研究機器學習算法行為的重要性。您發現了一個簡單的5步過程，您可以使用它設計并在機器學習算法上執行第一個實驗。 采取行動。使用您在本博文中學到的過程，完成第一次機器學習實驗。一旦你完成了一個，即使是非常小的一個，你將擁有完成第二個甚至更多的信心，工具和能力。 我很想知道你的第一個實驗。發表評論并分享您的結果或您學到的知識。