# 機器學習中的受控實驗 > 原文： [https://machinelearningmastery.com/controlled-experiments-in-machine-learning/](https://machinelearningmastery.com/controlled-experiments-in-machine-learning/) 系統實驗是應用機器學習的關鍵部分。 鑒于機器學習方法的復雜性，它們抵制正式的分析方法。因此，我們必須從經驗上了解算法對我們特定問題的行為。我們使用對照實驗來做到這一點 在本教程中，您將發現受控實驗在應用機器學習中的重要作用。 完成本教程后，您將了解： * 需要通過對照實驗進行系統發現。 * 需要重復實驗以控制方差的來源。 * 在機器學習中進行的實驗示例以及它們所代表的挑戰和機遇。 讓我們開始吧。  機器學習中的受控實驗 照片由 [Mike Baird](https://www.flickr.com/photos/mikebaird/1723372755/) 拍攝，保留一些權利。 ## 教程概述 本教程分為3個部分;他們是： 1. 系統實驗 2. 控制方差 3. 機器學習實驗 ## 系統實驗 在應用機器學習中，您必須成為科學家并進行系統實驗。 您關心的問題的答案，例如哪種算法最適合您的數據或使用哪些輸入功能，只能通過實驗試驗的結果找到。 這主要是因為機器學習方法很復雜并且抵制正式的分析方法。 > [...]許多學習算法對于正式分析來說過于復雜，至少在大多數理論處理所假設的普遍性水平上都是如此。因此，機器學習算法行為的實證研究必須保持核心作用。 - [機器學習的實驗研究](https://dl.acm.org/citation.cfm?id=637939)，1991。 在統計學中，一種實驗的選擇被稱為[實驗設計](https://en.wikipedia.org/wiki/Design_of_experiments)，并且有許多類型的實驗可供選擇。例如，您可能已經聽說[隨機雙盲安慰劑對照實驗](https://en.wikipedia.org/wiki/Blinded_experiment)作為評估醫學治療有效性的金標準。 應用機器學習的特殊之處在于我們可以完全控制實驗，我們可以在計算機上運行盡可能少的試驗。由于易于運行實驗，因此我們運行正確類型的實驗非常重要。 > 在自然科學中，人們永遠無法控制所有可能的變量。 [...]作為人工科學，機器學習通常可以避免這種并發癥。 - [機器學習作為實驗科學](https://link.springer.com/article/10.1023%2FA%3A1022623814640?LI=true)，編輯，1998。 我們希望進行的實驗類型稱為[對照實驗](https://en.wikipedia.org/wiki/Scientific_control)。 這些實驗中所有已知的自變量保持不變并一次修改一個，以確定它們對因變量的影響。將結果與基線或無治療進行比較，稱為“_控制_。”這可能是基線方法（如持久性或零規則算法或方法的默認配置）的結果。 > 正如通常所定義的，實驗涉及系統地改變一個或多個自變量并檢查它們對某些因變量的影響。因此，機器學習實驗需要不止一次學習;它需要在不同條件下進行多次運行。在每種情況下，必須測量系統行為的某些方面，以便在不同條件下進行比較。 — [Machine Learning as an Experimental Science](https://link.springer.com/article/10.1023%2FA%3A1022623814640?LI=true), Editorial, 1998. ## 控制方差 在許多方面，使用機器學習方法的實驗與[模擬研究](https://en.wikipedia.org/wiki/Computer_experiment)（例如物理學中的那些）相比，與評估醫學治療相比具有更多共同點。 因此，單個實驗的結果是概率性的，受到變化的影響。 在我們的對照實驗中，我們試圖理解兩種主要的方差類型;他們是： * **數據**中的差異，例如用于訓練學習算法的數據和用于評估其技能的數據。 * **模型**中的方差，例如在學習算法中使用隨機性，例如神經網絡中的隨機初始權重，套袋中切割點的選擇，隨機梯度下降中數據的隨機排序等等。 鑒于這些方差來源，單次運行或對照試驗的試驗結果會產生誤導。 實驗必須控制這些方差來源。這是通過多次重復實驗試驗以引出方差范圍來完成的，這樣我們都可以報告預期結果和預期結果的方差，例如：平均值和置信區間。 在模擬研究中，例如蒙特卡羅方法，重復實驗稱為[方差減少](https://en.wikipedia.org/wiki/Variance_reduction)。 ## 機器學習實驗 實驗是應用機器學習的關鍵部分。 這對于必須學習嚴謹的初學者和發現和貢獻的令人興奮的機會來說都是一個挑戰。 讓我們通過一些您可能需要執行的受控實驗類型的示例來具體化： * **選擇功能實驗**。在確定哪些數據特征（輸入變量）與模型最相關時，獨立變量可以是輸入特征，因變量可以是模型對未見數據的估計技能。 * **調整模型實驗**。在調整機器學習模型時，自變量可以是學習算法的超參數，因變量可以是模型對未見數據的估計技能。 * **比較模型實驗**。當比較機器學習模型的表現時，自變量可以是具有特定配置的學習算法本身，因變量是模型對未見數據的估計技能。 是什么讓應用機器學習的實驗焦點如此令人興奮是兩個方面： * **發現**。您可以發現哪種方法最適合您的特定問題和數據。挑戰和機遇。 * **貢獻**。您可以在該領域進行更廣泛的發現，除了嚴格和系統的實驗之外，沒有任何專業知識。 使用現成的工具和精心的實驗方法，您可以發現和貢獻。 > 總之，機器學習占據了一個幸運的位置，使系統實驗變得容易和有利可圖。 [...]雖然實驗研究不是理解的唯一途徑，但我們認為它們是機器學習對于快速科學進步最明智的希望之一，我們鼓勵其他研究人員加入我們的領域，向實驗科學發展。 — [The Experimental Study of Machine Learning](https://dl.acm.org/citation.cfm?id=637939), 1991. ## 進一步閱讀 如果您希望深入了解，本節將提供有關該主題的更多資源。 ### 圖書 * [計算機實驗的設計與分析](https://amzn.to/2Ge4yAP)，2003。 * [人工智能的經驗方法](https://amzn.to/2GdUPut)，1995。 ### 文件 * [機器學習作為實驗科學](https://link.springer.com/article/10.1023%2FA%3A1022623814640?LI=true)，編輯，1998。 * [機器學習的實驗研究](https://dl.acm.org/citation.cfm?id=637939)，1991。 * [機器學習作為實驗科學（重訪）](http://www.aaai.org/Papers/Workshops/2006/WS-06-06/WS06-06-002.pdf)，2006。 ### 用品 * [維基百科上的科學控制](https://en.wikipedia.org/wiki/Scientific_control) * [維基百科上的實驗設計](https://en.wikipedia.org/wiki/Design_of_experiments) * [維基百科上的盲目實驗](https://en.wikipedia.org/wiki/Blinded_experiment) * [控制維基百科上的變量](https://en.wikipedia.org/wiki/Controlling_for_a_variable) * [維基百科上的計算機實驗](https://en.wikipedia.org/wiki/Computer_experiment) * [維基百科上的方差減少](https://en.wikipedia.org/wiki/Variance_reduction) ### 摘要 在本教程中，您發現了受控實驗在應用機器學習中的重要作用。 具體來說，你學到了： * 需要通過對照實驗進行系統發現。 * 需要重復實驗以控制方差的來源。 * 在機器學習中進行的實驗示例以及它們所代表的挑戰和機遇。 你有任何問題嗎？ 在下面的評論中提出您的問題，我會盡力回答。