如何系統地規劃和運行機器學習實驗 · Machine Learning Mastery 博客文章翻譯

# 如何系統地規劃和運行機器學習實驗 > 原文： [https://machinelearningmastery.com/plan-run-machine-learning-experiments-systematically/](https://machinelearningmastery.com/plan-run-machine-learning-experiments-systematically/) 機器學習實驗可能需要很長時間。在某些情況下，小時，天，甚至幾周。這為您提供了大量時間來思考和規劃要執行的其他實驗。此外，平均應用的機器學習項目可能需要數十到數百個離散實驗，以便找到提供良好或良好表現的數據準備模型和模型配置。實驗的抽象性質意味著您需要仔細計劃和管理您運行的實驗的順序和類型。你需要系統化。在這篇文章中，您將發現一種計劃和管理機器學習實驗的簡單方法。通過這種方法，您將能夠： * 隨時掌握項目中最重要的問題和發現。 * 跟蹤您已完成并希望運行的實驗。 * 放大提供最佳表現的數據準備，模型和模型配置。讓我們潛入。 ![How to Plan and Run Machine Learning Experiments Systematically](https://img.kancloud.cn/3c/89/3c89e24822e933865ad1acfe18a47447_640x480.jpg) 如何系統地規劃和運行機器學習實驗照 [Qfamily](https://www.flickr.com/photos/dasqfamily/6014184529/) ，保留一些權利。 ## 數以百計的實驗混亂我喜歡一夜之間進行實驗。大量的實驗。這樣，當我醒來時，我可以查看結果，更新我的工作（以及不工作的）的想法，并啟動下一輪實驗，然后花一些時間分析結果。我討厭浪費時間。考慮到我所擁有的時間和資源，我討厭運行不會讓我更接近找到最熟練模型的目標的實驗。很容易忘記你所處的位置。特別是在您有數百個實驗的結果，分析和發現之后。對實驗的管理不善會導致以下情況： * 你正在看實驗。 * 您正試圖在當前批次完成后立即提出好的實驗想法。 * 您運行之前已經運行過的實驗。你永遠不想在任何這些情況下！如果你在游戲中，那么： * 您確切地知道您一目了然地進行了哪些實驗以及結果是什么。 * 您有很長的實驗列表，按預期收益排序。 * 你有時間深入研究結果分析，并想出新的和瘋狂的想法來嘗試。但是，我們如何才能在數百個實驗中保持領先地位？ ## 系統地設計和運行實驗我發現的一種方法是幫助我系統地進行項目實驗，就是使用電子表格。管理您已完成的，正在運行的實驗，以及您希望在電子表格中運行的實驗。它簡單而有效。 ### 簡單這很簡單，我或任何人都可以從任何地方訪問它，看看我們在哪里。我使用Google文檔來托管電子表格。沒有代碼。沒有筆記本。沒有華麗的網絡應用程序。只是一個電子表格。 ### 有效這是有效的，因為它只包含每個實驗一行所需的信息，以及每個信息的一列，以跟蹤實驗。完成的實驗可以與計劃的實驗分開。只設置和運行計劃中的實驗，并且它們的順序確保首先運行最重要的實驗。您會驚訝于這種簡單的方法可以節省您的時間并讓您深入思考您的項目。 ## 示例電子表格我們來看一個例子。我們可以設想一個包含以下列的電子表格。這些只是我上一個項目的一個例子。我建議根據自己的需要調整這些。 * **子項目**：子項目可能是您正在探索的一組想法，技術，數據準備等。 * **上下文**：上下文可能是特定目標，例如擊敗基線，調整，診斷等。 * **設置**：設置是實驗的固定配置。 * **名稱**：名稱是唯一標識符，也許是腳本的文件名。 * **參數**：參數是實驗中變化或查看的內容。 * **值**：該值是實驗中正在探索的參數的值。 * **狀態**：狀態是實驗的狀態，例如計劃，正在運行或已完成。 * **技能**：該技能是對項目真正重要的北極指標，如準確性或錯誤。 * **問題**：問題是該實驗試圖解決的激勵性問題。 * **發現**：該發現是實驗結果的一行摘要，即問題的答案。為了具體說明，下面是Google Doc電子表格的屏幕截圖，其中包含這些列標題和一個人為的例子。 ![Systematic Experimental Record](https://img.kancloud.cn/1b/ff/1bffde13df9d6c88ca946fed3f3106aa_1024x276.jpg) 系統實驗記錄我不能說這種方法花了多少時間拯救了我。并且在追求獲得最佳結果時被證明是錯誤的假設數量。事實上，我發現深度學習方法通??常對假設和默認值非常不利。在設計實驗時請記住這一點！ ## 充分利用您的實驗以下是一些技巧，可以幫助您在項目中充分利用這種簡單的方法。 * **頭腦風暴**：花時間經常審查發現并列出新問題和實驗來回答這些問題。 * **挑戰**：挑戰假設并挑戰先前的發現。扮演科學家并設計可能會偽造您的發現或期望的實驗。 * **子項目**：考慮使用子項目來組織您的調查，您可以跟蹤線索或調查特定方法。 * **實驗順序**：使用行順序作為優先級，以確保首先運行最重要的實驗。 * **深入分析**：將結果和匯總結果的更深入分析保存到另一份文件中;電子表格不是地方。 * **實驗類型**：不要害怕混入不同的實驗類型，如網格搜索，抽樣檢查和模型診斷。你會知道這種方法在以下情況下運作良好： * 您正在搜索API文檔和論文，以獲取更多有關事物的想法。 * 排隊的實驗遠遠多于運行它們的資源。 * 你正在認真考慮雇用更多的EC2實例。 ## 摘要在這篇文章中，您了解了如何有效地管理已運行，正在運行以及您希望在電子表格中運行的數百個實驗。您發現一個簡單的電子表格可以幫助您： * 跟蹤您運行的實驗和發現的內容。 * 跟蹤您想要運行的實驗以及他們將回答的問題。 * 為您的預測建模問題放大最有效的數據準備，模型和模型配置。您對此方法有任何疑問嗎？你自己做過類似的事嗎？請在下面的評論中告訴我。