## 17.3 科學中的再現性危機
人們可能希望布萊恩·萬辛克是一個罕見的異類,但越來越清楚的是,在科學中,再現性問題比以前想象的要普遍得多。這一點在 2015 年變得清晰起來,當時一大群研究人員在名為“評估心理科學的再現性”的雜志 _Science_ 上發表了一項研究(開放科學合作 2015)。在這項研究中,研究者們選取了 100 項已發表的心理學研究成果,并試圖復制論文最初報道的結果。他們的發現令人震驚:盡管 97%的原始論文報告了具有統計學意義的發現,但在復制研究中只有 37%的這些影響具有統計學意義。盡管心理學中的這些問題受到了廣泛關注,但它們似乎存在于幾乎所有科學領域,從癌癥生物學(Errington 等人 2014 年)和化學(Baker 2017 年)到經濟學(Christensen 和 Miguel 2016 年)和社會科學(Camerer 等人 2018 年)。
2010 年之后出現的再現性危機實際上是由斯坦福大學的一位醫生約翰·伊奧尼迪斯預測的,他在 2005 年寫了一篇題為“為什么大多數發表的研究結果都是錯誤的”(伊奧尼迪斯,2005 年)的論文。在本文中,伊奧尼迪斯認為,在現代科學的背景下使用零假設統計檢驗必然會導致高水平的錯誤結果。
### 17.3.1 陽性預測值及統計意義
ioannidis 的分析側重于一個被稱為 _ 陽性預測值 _ 的概念,定義為陽性結果(通常翻譯為“統計顯著結果”)的比例,這是正確的:

假設我們知道我們的假設是正確的概率(),那么一個真正的正結果的概率就是乘以研究的統計能力:

were為假陰性率。假陽性結果的概率由和假陽性率決定:

PPV 的定義如下:

我們先舉一個例子,假設為真的概率很高,比如說 0.8——但是請注意,一般來說,我們不能真正知道這個概率。假設我們使用標準值和進行研究。我們可以將 ppv 計算為:

這意味著,如果我們在一項假設很可能是真實的、權力很高的研究中發現一個積極的結果,那么它成為真實的可能性很高。然而,請注意,假設具有如此高的真實可能性的研究領域可能不是一個非常有趣的研究領域;當研究告訴我們一些新的東西時,它是最重要的!
讓我們對一個字段進行相同的分析,其中——也就是說,測試的大多數假設都是錯誤的。在這種情況下,PPV 是:

這意味著,在一個大多數假設都可能是錯誤的領域(也就是說,一個有趣的科學領域,研究人員正在測試風險假設),即使我們發現了一個積極的結果,也更可能是錯誤的,而不是真的!事實上,這只是我們在假設檢驗中討論的基礎利率效應的另一個例子——當結果不太可能出現時,幾乎可以肯定的是,大多數積極的結果將是假陽性。
我們可以模擬這一點,以顯示 ppv 與統計功率的關系,作為假設為真的先驗概率的函數(參見圖[17.1](#fig:PPVsim))

圖 17.1 后驗預測值作為統計功率函數(繪制在 x 軸上)的模擬,假設的前驗概率為真(繪制為單獨的線)。
不幸的是,許多科學領域的統計能力仍然很低(Smaldino 和 McElreath,2016 年),這表明許多已發表的研究結果都是錯誤的。
### 17.3.2 勝利者的詛咒
另一種錯誤也可能發生在統計能力較低的時候:我們對影響大小的估計將被夸大。這種現象經常被稱為“贏家的詛咒”,它來自經濟學,它指的是,對于某些類型的拍賣(每個人的價值都是一樣的,就像一罐 25 美分的硬幣,而競拍是私人的),贏家幾乎總是支付比好的東西更高的價格。.在科學中,贏家的詛咒是指根據重大結果(即贏家)估計的效果大小幾乎總是高估真實效果大小的事實。
我們可以對此進行模擬,以了解重要結果的估計效果大小與實際潛在效果大小之間的關系。讓我們生成真實效果大小為 0.2 的數據,并在檢測到顯著效果的情況下估計這些結果的效果大小。圖[17.2](#fig:CurseSim)顯示,當功率較低時,與實際效果大小相比,顯著結果的估計效果大小可能會大大膨脹。

圖 17.2 勝利者詛咒作為統計冪函數(x 軸)的模擬。黑線顯示估計的效果大小,紅色虛線顯示實際的效果大小。

圖 17.3 一個柱狀圖,顯示數據集中若干樣本的樣本大小,顯著結果以藍色顯示,非顯著結果以紅色顯示。
我們可以通過一個模擬來了解為什么會出現這種情況。在圖[17.3](#fig:curseSimSingle)中,您可以看到 1000 個樣本的估計效果大小的柱狀圖,通過測試是否具有統計意義來分隔。從圖中可以清楚地看到,如果我們僅僅根據顯著的結果來估計效果大小,那么我們的估計就會膨脹;只有當大多數結果都是顯著的(即功率高,效果相對較大)時,我們的估計才會接近實際的效果大小。
- 前言
- 0.1 本書為什么存在?
- 0.2 你不是統計學家-我們為什么要聽你的?
- 0.3 為什么是 R?
- 0.4 數據的黃金時代
- 0.5 開源書籍
- 0.6 確認
- 1 引言
- 1.1 什么是統計思維?
- 1.2 統計數據能為我們做什么?
- 1.3 統計學的基本概念
- 1.4 因果關系與統計
- 1.5 閱讀建議
- 2 處理數據
- 2.1 什么是數據?
- 2.2 測量尺度
- 2.3 什么是良好的測量?
- 2.4 閱讀建議
- 3 概率
- 3.1 什么是概率?
- 3.2 我們如何確定概率?
- 3.3 概率分布
- 3.4 條件概率
- 3.5 根據數據計算條件概率
- 3.6 獨立性
- 3.7 逆轉條件概率:貝葉斯規則
- 3.8 數據學習
- 3.9 優勢比
- 3.10 概率是什么意思?
- 3.11 閱讀建議
- 4 匯總數據
- 4.1 為什么要總結數據?
- 4.2 使用表格匯總數據
- 4.3 分布的理想化表示
- 4.4 閱讀建議
- 5 將模型擬合到數據
- 5.1 什么是模型?
- 5.2 統計建模:示例
- 5.3 什么使模型“良好”?
- 5.4 模型是否太好?
- 5.5 最簡單的模型:平均值
- 5.6 模式
- 5.7 變異性:平均值與數據的擬合程度如何?
- 5.8 使用模擬了解統計數據
- 5.9 Z 分數
- 6 數據可視化
- 6.1 數據可視化如何拯救生命
- 6.2 繪圖解剖
- 6.3 使用 ggplot 在 R 中繪制
- 6.4 良好可視化原則
- 6.5 最大化數據/墨水比
- 6.6 避免圖表垃圾
- 6.7 避免數據失真
- 6.8 謊言因素
- 6.9 記住人的局限性
- 6.10 其他因素的修正
- 6.11 建議閱讀和視頻
- 7 取樣
- 7.1 我們如何取樣?
- 7.2 采樣誤差
- 7.3 平均值的標準誤差
- 7.4 中心極限定理
- 7.5 置信區間
- 7.6 閱讀建議
- 8 重新采樣和模擬
- 8.1 蒙特卡羅模擬
- 8.2 統計的隨機性
- 8.3 生成隨機數
- 8.4 使用蒙特卡羅模擬
- 8.5 使用模擬統計:引導程序
- 8.6 閱讀建議
- 9 假設檢驗
- 9.1 無效假設統計檢驗(NHST)
- 9.2 無效假設統計檢驗:一個例子
- 9.3 無效假設檢驗過程
- 9.4 現代環境下的 NHST:多重測試
- 9.5 閱讀建議
- 10 置信區間、效應大小和統計功率
- 10.1 置信區間
- 10.2 效果大小
- 10.3 統計能力
- 10.4 閱讀建議
- 11 貝葉斯統計
- 11.1 生成模型
- 11.2 貝葉斯定理與逆推理
- 11.3 進行貝葉斯估計
- 11.4 估計后驗分布
- 11.5 選擇優先權
- 11.6 貝葉斯假設檢驗
- 11.7 閱讀建議
- 12 分類關系建模
- 12.1 示例:糖果顏色
- 12.2 皮爾遜卡方檢驗
- 12.3 應急表及雙向試驗
- 12.4 標準化殘差
- 12.5 優勢比
- 12.6 貝葉斯系數
- 12.7 超出 2 x 2 表的分類分析
- 12.8 注意辛普森悖論
- 13 建模持續關系
- 13.1 一個例子:仇恨犯罪和收入不平等
- 13.2 收入不平等是否與仇恨犯罪有關?
- 13.3 協方差和相關性
- 13.4 相關性和因果關系
- 13.5 閱讀建議
- 14 一般線性模型
- 14.1 線性回歸
- 14.2 安裝更復雜的模型
- 14.3 變量之間的相互作用
- 14.4“預測”的真正含義是什么?
- 14.5 閱讀建議
- 15 比較方法
- 15.1 學生 T 考試
- 15.2 t 檢驗作為線性模型
- 15.3 平均差的貝葉斯因子
- 15.4 配對 t 檢驗
- 15.5 比較兩種以上的方法
- 16 統計建模過程:一個實例
- 16.1 統計建模過程
- 17 做重復性研究
- 17.1 我們認為科學應該如何運作
- 17.2 科學(有時)是如何工作的
- 17.3 科學中的再現性危機
- 17.4 有問題的研究實踐
- 17.5 進行重復性研究
- 17.6 進行重復性數據分析
- 17.7 結論:提高科學水平
- 17.8 閱讀建議
- References