## 17.5 進行重復性研究
在再現性危機爆發的幾年里,有一個強有力的運動來開發工具來幫助保護科學研究的再現性。
### 17.5.1 預注冊
獲得最大吸引力的想法之一是 _ 預注冊 _,其中一個將研究的詳細描述(包括所有數據分析)提交給受信任的存儲庫(如[開放科學框架](http://osf.io)或[aspredected.org](http://aspredicted.org))。通過在分析數據之前詳細說明一個人的計劃,預注冊提供了更大的信心,即分析不會受到 P-Hacking 或其他可疑的研究實踐的影響。
預注冊的效果已經在醫學臨床試驗中看到。2000 年,國家心臟、肺和血液研究所(NHLBI)開始要求使用[clinical trials.gov](http://clinicaltrials.gov)上的系統對所有臨床試驗進行預注冊。這為觀察研究預注冊的效果提供了一個自然的實驗。當 Kaplan 和 Irvin(2015)研究了隨著時間推移的臨床試驗結果時,他們發現 2000 年后臨床試驗的陽性結果數量比以前減少了。雖然有許多可能的原因,但似乎在研究注冊之前,研究人員能夠改變他們的方法,以找到一個積極的結果,這在注冊后變得更加困難。
### 17.5.2 可復制實踐
Simmons、Nelson 和 Simonsohn(2011)的論文提出了一套建議做法,以使研究更具可重復性,所有這些做法都應成為研究人員的標準:
> * 作者必須在數據收集開始之前決定終止數據收集的規則,并在文章中報告此規則。
> * 操作者必須為每個單元收集至少 20 個觀察結果,否則將產生命令人信任服務的數據收集成成本。
> * 作者必須列出研究中收集的所有變量。
> * 操作者必須報告所有實驗條件,包括失敗的操作。
> * 如果消除了觀察結果,則操作者還必須報告統計結果(如果包括這些觀察結果)。
> * 如果分析包含協變量,則操作者必須報告分析的統計結果而不包含協變量。【htg12】【htg13】
### 17.5.3 復制
科學的一個標志就是復制(htg0)的思想,也就是說,其他研究人員應該能夠進行相同的研究并獲得相同的結果。不幸的是,正如我們在前面討論的復制項目的結果中看到的,許多發現是不可復制的。確保研究的可復制性的最好方法是首先自己復制它;對于某些研究來說,這是不可能的,但只要有可能,就應該確保在新的樣本中可以找到它。新的樣本應該有足夠的能量來找到感興趣的效果大小;在許多情況下,這實際上需要比原始樣本更大的樣本。
在復制方面記住一些事情是很重要的。首先,復制嘗試失敗并不一定意味著原始發現是錯誤的;請記住,在 80%功率的標準水平下,仍然有五分之一的機會結果是無意義的,即使有真正的效果。出于這個原因,在我們開始相信任何重要發現之前,我們通常希望看到它的多重復制。不幸的是,包括心理學在內的許多領域在過去都未能遵循這一建議,導致“教科書”的發現很可能是錯誤的。關于 Daryl Bem 的 ESP 研究,涉及 7 項研究的大規模復制嘗試未能復制他的發現(Galak 等人 2012 年)。
第二,記住,p 值并不能為我們提供一個發現復制可能性的度量。正如我們之前討論過的,p 值是一個關于在特定的空假設下一個人的數據的可能性的陳述;它沒有告訴我們關于發現實際上是真的概率的任何事情(正如我們在貝葉斯分析一章中所了解的)。為了知道復制的可能性,我們需要知道發現是真的概率,而我們通常不知道。
- 前言
- 0.1 本書為什么存在?
- 0.2 你不是統計學家-我們為什么要聽你的?
- 0.3 為什么是 R?
- 0.4 數據的黃金時代
- 0.5 開源書籍
- 0.6 確認
- 1 引言
- 1.1 什么是統計思維?
- 1.2 統計數據能為我們做什么?
- 1.3 統計學的基本概念
- 1.4 因果關系與統計
- 1.5 閱讀建議
- 2 處理數據
- 2.1 什么是數據?
- 2.2 測量尺度
- 2.3 什么是良好的測量?
- 2.4 閱讀建議
- 3 概率
- 3.1 什么是概率?
- 3.2 我們如何確定概率?
- 3.3 概率分布
- 3.4 條件概率
- 3.5 根據數據計算條件概率
- 3.6 獨立性
- 3.7 逆轉條件概率:貝葉斯規則
- 3.8 數據學習
- 3.9 優勢比
- 3.10 概率是什么意思?
- 3.11 閱讀建議
- 4 匯總數據
- 4.1 為什么要總結數據?
- 4.2 使用表格匯總數據
- 4.3 分布的理想化表示
- 4.4 閱讀建議
- 5 將模型擬合到數據
- 5.1 什么是模型?
- 5.2 統計建模:示例
- 5.3 什么使模型“良好”?
- 5.4 模型是否太好?
- 5.5 最簡單的模型:平均值
- 5.6 模式
- 5.7 變異性:平均值與數據的擬合程度如何?
- 5.8 使用模擬了解統計數據
- 5.9 Z 分數
- 6 數據可視化
- 6.1 數據可視化如何拯救生命
- 6.2 繪圖解剖
- 6.3 使用 ggplot 在 R 中繪制
- 6.4 良好可視化原則
- 6.5 最大化數據/墨水比
- 6.6 避免圖表垃圾
- 6.7 避免數據失真
- 6.8 謊言因素
- 6.9 記住人的局限性
- 6.10 其他因素的修正
- 6.11 建議閱讀和視頻
- 7 取樣
- 7.1 我們如何取樣?
- 7.2 采樣誤差
- 7.3 平均值的標準誤差
- 7.4 中心極限定理
- 7.5 置信區間
- 7.6 閱讀建議
- 8 重新采樣和模擬
- 8.1 蒙特卡羅模擬
- 8.2 統計的隨機性
- 8.3 生成隨機數
- 8.4 使用蒙特卡羅模擬
- 8.5 使用模擬統計:引導程序
- 8.6 閱讀建議
- 9 假設檢驗
- 9.1 無效假設統計檢驗(NHST)
- 9.2 無效假設統計檢驗:一個例子
- 9.3 無效假設檢驗過程
- 9.4 現代環境下的 NHST:多重測試
- 9.5 閱讀建議
- 10 置信區間、效應大小和統計功率
- 10.1 置信區間
- 10.2 效果大小
- 10.3 統計能力
- 10.4 閱讀建議
- 11 貝葉斯統計
- 11.1 生成模型
- 11.2 貝葉斯定理與逆推理
- 11.3 進行貝葉斯估計
- 11.4 估計后驗分布
- 11.5 選擇優先權
- 11.6 貝葉斯假設檢驗
- 11.7 閱讀建議
- 12 分類關系建模
- 12.1 示例:糖果顏色
- 12.2 皮爾遜卡方檢驗
- 12.3 應急表及雙向試驗
- 12.4 標準化殘差
- 12.5 優勢比
- 12.6 貝葉斯系數
- 12.7 超出 2 x 2 表的分類分析
- 12.8 注意辛普森悖論
- 13 建模持續關系
- 13.1 一個例子:仇恨犯罪和收入不平等
- 13.2 收入不平等是否與仇恨犯罪有關?
- 13.3 協方差和相關性
- 13.4 相關性和因果關系
- 13.5 閱讀建議
- 14 一般線性模型
- 14.1 線性回歸
- 14.2 安裝更復雜的模型
- 14.3 變量之間的相互作用
- 14.4“預測”的真正含義是什么?
- 14.5 閱讀建議
- 15 比較方法
- 15.1 學生 T 考試
- 15.2 t 檢驗作為線性模型
- 15.3 平均差的貝葉斯因子
- 15.4 配對 t 檢驗
- 15.5 比較兩種以上的方法
- 16 統計建模過程:一個實例
- 16.1 統計建模過程
- 17 做重復性研究
- 17.1 我們認為科學應該如何運作
- 17.2 科學(有時)是如何工作的
- 17.3 科學中的再現性危機
- 17.4 有問題的研究實踐
- 17.5 進行重復性研究
- 17.6 進行重復性數據分析
- 17.7 結論:提高科學水平
- 17.8 閱讀建議
- References