# 機器學習評估統計的溫和介紹 > 原文： [https://machinelearningmastery.com/estimation-statistics-for-machine-learning/](https://machinelearningmastery.com/estimation-statistics-for-machine-learning/) 統計假設檢驗可用于指示兩個樣本之間的差異是否是由于隨機機會，但不能評論差異的大小。 被稱為“_新統計_”的一組方法正在增加使用而不是p值或者除了p值之外，以便量化效應的大小和估計值的不確定性的量。這組統計方法被稱為“_估計統計_”。 在本教程中，您將發現對估計統計數據的溫和介紹，作為統計假設檢驗的替代或補充。 完成本教程后，您將了解： * 效應大小方法涉及量化樣本之間的關聯或差異。 * 區間估計方法涉及量化點估計周圍的不確定性。 * Meta分析涉及量化多個類似獨立研究中影響的程度。 讓我們開始吧。  機器學習估算統計的溫和介紹 [NicolásBoullosa](https://www.flickr.com/photos/faircompanies/2184522893/)的照片，保留一些權利。 ## 教程概述 本教程分為5個部分;他們是： 1. 假設檢驗的問題 2. 估算統計 3. 規模效應 4. 區間估計 5. Meta分析 ## 假設檢驗的問題 統計假設檢驗和p值的計算是呈現和解釋結果的流行方式。 像Student's t檢驗這樣的測試可用于描述兩個樣本是否具有相同的分布。它們可以幫助解釋兩個樣本均值之間的差異是否真實或由于隨機機會。 雖然它們被廣泛使用，但它們[存在一些問題](https://en.wikipedia.org/wiki/Misunderstandings_of_p-values)。例如： * 計算的p值很容易被誤用和誤解。 * 即使差異很小，樣本之間總會有一些顯著差異。 有趣的是，在過去的幾十年里，人們一直在反對在研究報告中使用p值。例如，在20世紀90年代，[流行病學](https://journals.lww.com/epidem/pages/default.aspx)的期刊禁止使用p值。醫學和心理學的許多相關領域也紛紛效仿。 盡管仍然可以使用p值，但是使用估計統計數據推動了結果的呈現。 ## 估算統計 估計統計是指嘗試量化發現的方法。 這可能包括量化效果的大小或特定結果或結果的不確定性的數量。 > ......'估算統計'，一個術語，描述著重于效果大小估計（點估計）及其置信區間（精確估計）的方法。 - [估算統計數據應取代2016年的顯著性檢驗](https://www.nature.com/articles/nmeth.3729)。 估算統計是描述三種主要方法類別的術語。三類主要方法包括： * **效果大小**。用于量化治療或干預的效果大小的方法。 * **區間估計**。量化值的不確定性的方法。 * **Meta分析**。在多個類似研究中量化結果的方法。 我們將在以下部分中更詳細地介紹這些方法組。 雖然它們并不是新的，但它們被稱為“_新統計_”，因為它們在統計假設檢驗的研究文獻中的使用越來越多。 > 新的統計數據涉及估計，薈萃分析和其他技術，幫助研究人員將重點從[零假設統計檢驗]轉移。這些技術并不是新的，并且通常用于某些學科，但對于[零假設統計檢驗]學科，它們的使用將是新的和有益的。 - [了解新統計：影響大小，置信區間和元分析](http://amzn.to/2HxDjgC)，2012。 從統計假設方法向估計系統轉變的主要原因是結果更容易在領域或研究問題的背景下進行分析和解釋。 效果和不確定性的量化大小允許聲明更容易理解和使用。結果更有意義。 > 知道和思考效應的幅度和精確度對于定量科學比考慮觀察至少那個極端數據的概率更有用，假設絕對沒有效果。 — [Estimation statistics should replace significance testing](https://www.nature.com/articles/nmeth.3729), 2016. 在統計假設檢驗談論樣本是否來自相同分布的情況下，估計統計可以描述差異的大小和置信度。這允許您評論一種方法與另一種方法的不同之處。 > 估計思維的重點是效果有多大;知道這通常比知道效果是否為零更有價值，這是二元思維的四肢。估計思維促使我們計劃一個實驗，以解決“多少......？”或“在多大程度上？？”的問題，而不僅僅是二分法無效假設統計檢驗的問題，“有效果嗎？” — [Understanding The New Statistics: Effect Sizes, Confidence Intervals, and Meta-Analysis](http://amzn.to/2HxDjgC), 2012. ## 規模效應 效應大小描述了治療的大小或兩個樣本之間的差異。 假設檢驗可以評論樣本之間的差異是偶然的結果還是真實的結果，而效應大小則表示樣本的差異程度。 測量效果的大小是應用機器學習的重要組成部分，事實上，研究也是如此。 > 我有時被問到，研究人員做了什么？簡短的回答是我們估計效果的大小。無論我們選擇研究什么樣的現象，我們基本上都在花費我們的職業生涯來思考新的更好的方法來估計效應量。 - 第3頁，[影響大小的基本指南：統計功效，Meta分析和研究結果的解釋](http://amzn.to/2p8Ckfs)，2010。 有兩種主要的技術用于量化影響的程度;他們是： * **協會**。兩個樣本一起變化的程度。 * **差異**。兩個樣本不同的程度。 例如，關聯效應大小包括相關性的計算，例如Pearson相關系數和r ^ 2確定系數。它們可以量化兩個樣本中的觀察結果一起變化的線性或單調方式。 差異效應大小可以包括諸如科恩統計量的方法，其提供關于兩個群體的平均值如何不同的標準化度量。他們尋求量化兩個樣本中觀察值之間差異的大小。 > 效果可以是在組（例如，治療組和未治療組）之間的比較中顯示的治療的結果，或者它可以描述兩個相關變量（例如治療劑量和健康）之間的關聯程度。 - 第4頁，[影響大小的基本指南：統計力量，Meta分析和研究結果的解釋](http://amzn.to/2p8Ckfs)，2010。 ## 區間估計 區間估計是指用于量化觀察的不確定性的統計方法。 間隔將點估計轉換為一個范圍，該范圍提供有關估計的更多信息，例如其精度，使其更易于比較和解釋。 > 點估計是點，間隔表示這些點估計的不確定性。 - 第9頁，[了解新統計：影響大小，置信區間和元分析](http://amzn.to/2HxDjgC)，2012。 通常計算有三種主要類型的間隔。他們是： * **容差區間**：具有特定置信水平的分布的一定比例的界限或覆蓋范圍。 * **置信區間**：總體參數估計的界限。 * **預測區間**：單次觀察的界限。 公差區間可用于設定對群體中觀察的期望或幫助識別異常值。置信區間可用于解釋數據樣本的平均值的范圍，隨著樣本量的增加，該范圍可以變得更加精確。預測間隔可用于從模型提供預測或預測的范圍。 例如，當呈現模型的平均估計技能時，可以使用置信區間來提供估計精度的界限。如果要比較模型，這也可以與p值組合。 > 因此，置信區間為人口價值提供了一系列可能性，而不是僅基于統計顯著性的任意二分法。它以犧牲P值的精度為代價傳達更多有用的信息。然而，除了置信區間之外，實際P值是有用的，并且優選地兩者都應該被呈現。但是，如果必須排除一個，那么它應該是P值。 - [置信區間而不是P值：估計而不是假設檢驗](https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1339793/)，1986。 ## Meta分析 薈萃分析指的是使用多個相似研究的權重來量化更廣泛的交叉研究效果。 當許多小型和類似的研究已經進行了嘈雜和相互矛盾的研究時，Meta研究很有用。與其以任何單一研究相比，統計學方法不是將研究結論用于面值，而是將多項研究結果結合起來。 > ...更好地稱為薈萃分析，完全忽略了其他人所得出的結論，而忽視了已經觀察到的效果。目的是將這些獨立觀察結果與平均效應大小相結合，并得出關于現實世界效應的方向和幅度的總體結論。 - 第90頁，[影響大小的基本指南：統計功效，Meta分析和研究結果的解釋](http://amzn.to/2p8Ckfs)，2010。 盡管不常用于應用機器學習，但有必要注意元分析，因為它們構成了新統計方法信任的一部分。 ## 擴展 本節列出了一些擴展您可能希望探索的教程的想法。 * 描述如何在機器學習項目中使用估算統計數據的三個示例。 * 找出并總結三種對使用統計假設檢驗的批評。 * 搜索并找到三篇利用區間估計的研究論文。 如果你探索任何這些擴展，我很想知道。 ## 進一步閱讀 如果您希望深入了解，本節將提供有關該主題的更多資源。 ### 圖書 * [了解新統計：影響大小，置信區間和元分析](http://amzn.to/2HxDjgC)，2012。 * [新統計學概論：估計，開放科學及其他](http://amzn.to/2FEudOI)，2016年。 * [影響大小的基本指南：統計力量，Meta分析和研究結果的解釋](http://amzn.to/2p8Ckfs)，2010。 ### 文件 * [估算統計數據應取代2016年的顯著性檢驗](https://www.nature.com/articles/nmeth.3729)。 * [置信區間而不是P值：估計而不是假設檢驗](https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1339793/)，1986。 ### 用品 * [維基百科](https://en.wikipedia.org/wiki/Estimation_statistics)的估算統計 * [維基百科上的效果大小](https://en.wikipedia.org/wiki/Effect_size) * [維基百科的間隔估計](https://en.wikipedia.org/wiki/Interval_estimation) * [維基百科上的元分析](https://en.wikipedia.org/wiki/Meta-analysis) ## 摘要 在本教程中，您發現了對估計統計數據的溫和介紹，作為統計假設檢驗的替代或補充。 具體來說，你學到了： * 效應大小方法涉及量化樣本之間的關聯或差異。 * 區間估計方法涉及量化點估計周圍的不確定性。 * Meta分析涉及量化多個類似獨立研究中影響的程度。 你有任何問題嗎？ 在下面的評論中提出您的問題，我會盡力回答。