# 10如何在機器學習項目中使用統計方法的示例 > 原文： [https://machinelearningmastery.com/statistical-methods-in-an-applied-machine-learning-project/](https://machinelearningmastery.com/statistical-methods-in-an-applied-machine-learning-project/) 統計和機器學習是兩個非常密切相關的領域。 事實上，兩者之間的界限有時可能非常模糊。然而，有些方法明顯屬于統計領域，這些方法不僅有用，而且在開展機器學習項目時非常寶貴。 可以公平地說，需要統計方法來有效地完成機器學習預測建模項目。 在這篇文章中，您將發現在預測建模問題的關鍵步驟中有用且必需的統計方法的具體示例。 完成這篇文章后，你會知道： * 探索性數據分析，數據匯總和數據可視化可用于幫助構建預測建模問題并更好地理解數據。 * 這些統計方法可用于清理和準備準備建模的數據。 * 統計假設檢驗和估計統計可以幫助進行模型選擇，并提供最終模型的技能和預測。 讓我們開始吧。  10應用機器學習項目中使用統計方法的示例 [chenutis](https://www.flickr.com/photos/chenutis/4572796436/) 的照片，保留一些權利。 ## 概觀 在這篇文章中，我們將看一下在應用機器學習項目中使用統計方法的10個例子。 這將證明統計學的工作知識對于成功完成預測建模問題至關重要。 1. 問題框架 2. 數據理解 3. 數據清理 4. 數據選擇 5. 數據準備 6. 模型評估 7. 型號配置 8. 型號選擇 9. 模特演示 10. 模型預測 ## 1.問題框架 也許預測模型問題中最大的杠桿點是問題的框架。 這是問題類型的選擇，例如回歸或分類，也許還有問題的輸入和輸出的結構和類型。 問題的框架并不總是顯而易見的。對于域的新手，可能需要對域中的觀察進行重要的探索。 對于可能無法從傳統角度看待問題的領域專家，他們也可以從多角度考慮數據中受益。 在框架問題期間有助于探索數據的統計方法包括： * **探索性數據分析**。摘要和可視化，以便探索數據的臨時視圖。 * **數據挖掘**。自動發現數據中的結構化關系和模式。 ## 2.數據理解 數據理解意味著密切掌握變量的分布和變量之間的關系。 其中一些知識可能來自領域專業知識，或需要領域專業知識才能解釋。盡管如此，研究領域的專家和新手都將從實際處理領域的實際觀察中受益。 統計方法的兩個大分支用于幫助理解數據;他們是： * **摘要統計**。用于使用統計量總結變量之間的分布和關系的方法。 * **數據可視化**。用于使用可視化（如圖表，圖表和圖形）匯總變量之間的分布和關系的方法。 ## 3.數據清理 來自域的觀察通常不是原始的。 雖然數據是數字的，但它可能會受到可能損害數據保真度的過程，以及使用數據的任何下游過程或模型。 一些例子包括： * 數據損壞。 * 數據錯誤。 * 數據丟失。 識別和修復數據問題的過程稱為數據清理 統計方法用于數據清理;例如： * **異常值檢測**。用于識別遠離分布中的預期值的觀察的方法。 * **估算**。修復或填寫觀察中腐敗或缺失值的方法。 ## 4.數據選擇 在建模時，并非所有觀察結果或所有變量都可能相關。 將數據范圍縮小到對預測最有用的元素的過程稱為數據選擇。 用于數據選擇的兩種統計方法包括： * **數據樣本**。從較大數據集系統地創建較小代表性樣本的方法。 * **特征選擇**。自動識別與結果變量最相關的變量的方法。 ## 5.數據準備 數據通常不能直接用于建模。 為了改變數據的形狀或結構，使其更適合于選擇的問題框架或學習算法，通常需要進行一些轉換。 使用統計方法進行數據準備。一些常見的例子包括： * **縮放**。標準化和規范化等方法。 * **編碼**。整數編碼和一個熱編碼等方法。 * **轉換**。諸如Box-Cox方法之類的功率變換等方法。 ## 6.模型評估 預測建模問題的關鍵部分是評估學習方法。 這通常需要在對模型訓練期間未見的數據進行預測時估計模型的技能。 通常，這種訓練和評估預測模型的過程的規劃稱為實驗設計。這是統計方法的整個子領域。 * **實驗設計**。設計系統實驗以比較自變量對結果的影響的方法，例如機器學習算法對預測準確性的選擇。 作為實施實驗設計的一部分，使用方法對數據集進行重采樣，以便經濟地使用可用數據，以便估計模型的技能。這兩個代表了統計方法的一個子領域。 * **重采樣方法**。用于系統地將數據集拆分成子集以用于訓練和評估預測模型的方法。 ## 7.模型配置 給定的機器學習算法通常具有一套超參數，其允許針對特定問題定制學習方法。 超參數的配置本質上通常是經驗性的，而不是分析性的，需要大量實驗來評估不同超參數值對模型技能的影響。 不同超參數配置之間的結果的解釋和比較是使用兩個統計子域之一進行的，即： * **統計假設檢驗**。在假設或期望結果的情況下量化觀察結果的可能性的方法（使用臨界值和p值表示）。 * **估算統計**。使用置信區間量化結果不確定性的方法。 ## 8.模型選擇 許多機器學習算法中的一個可能適合于給定的預測建模問題。 選擇一種方法作為解決方案的過程稱為模型選擇。 這可能涉及項目中的利益相關者的一套標準，以及對針對該問題評估的方法的估計技能的仔細解釋。 與模型配置一樣，可以使用兩類統計方法來解釋不同模型的估計技能，以用于模型選擇。他們是： * **統計假設檢驗**。在假設或期望結果的情況下量化觀察結果的可能性的方法（使用臨界值和p值表示）。 **估算統計**。使用置信區間量化結果不確定性的方法。 ## 9.模型演示 一旦最終模型經過訓練，就可以在使用或部署之前將其呈現給利益相關者，以對實際數據進行實際預測。 呈現最終模型的一部分涉及呈現模型的估計技能。 來自估計統計領域的方法可用于通過使用容差區間和置信區間來量化機器學習模型的估計技能的不確定性。 * **估算統計**。通過置信區間量化模型技能不確定性的方法。 ## 10.模型預測 最后，現在是時候開始使用最終模型來預測我們不知道真實結果的新數據。 作為預測的一部分，量化預測的置信度非常重要。 就像模型呈現過程一樣，我們可以使用估計統計領域的方法來量化這種不確定性，例如置信區間和預測區間。 * **估算統計**。通過預測間隔量化預測的不確定性的方法。 ## 摘要 在本教程中，您發現了統計方法在整個預測建模項目過程中的重要性。 具體來說，你學到了： * 探索性數據分析，數據匯總和數據可視化可用于幫助構建預測建模問題并更好地理解數據。 * 這些統計方法可用于清理和準備準備建模的數據。 * 統計假設檢驗和估計統計可以幫助進行模型選擇，并提供最終模型的技能和預測。 你有任何問題嗎？ 在下面的評論中提出您的問題，我會盡力回答。