## 17.5 進行重復性研究 在再現性危機爆發的幾年里，有一個強有力的運動來開發工具來幫助保護科學研究的再現性。 ### 17.5.1 預注冊 獲得最大吸引力的想法之一是 _ 預注冊 _，其中一個將研究的詳細描述（包括所有數據分析）提交給受信任的存儲庫（如[開放科學框架](http://osf.io)或[aspredected.org](http://aspredicted.org)）。通過在分析數據之前詳細說明一個人的計劃，預注冊提供了更大的信心，即分析不會受到 P-Hacking 或其他可疑的研究實踐的影響。 預注冊的效果已經在醫學臨床試驗中看到。2000 年，國家心臟、肺和血液研究所（NHLBI）開始要求使用[clinical trials.gov](http://clinicaltrials.gov)上的系統對所有臨床試驗進行預注冊。這為觀察研究預注冊的效果提供了一個自然的實驗。當 Kaplan 和 Irvin（2015）研究了隨著時間推移的臨床試驗結果時，他們發現 2000 年后臨床試驗的陽性結果數量比以前減少了。雖然有許多可能的原因，但似乎在研究注冊之前，研究人員能夠改變他們的方法，以找到一個積極的結果，這在注冊后變得更加困難。 ### 17.5.2 可復制實踐 Simmons、Nelson 和 Simonsohn（2011）的論文提出了一套建議做法，以使研究更具可重復性，所有這些做法都應成為研究人員的標準： > * 作者必須在數據收集開始之前決定終止數據收集的規則，并在文章中報告此規則。 > * 操作者必須為每個單元收集至少 20 個觀察結果，否則將產生命令人信任服務的數據收集成成本。 > * 作者必須列出研究中收集的所有變量。 > * 操作者必須報告所有實驗條件，包括失敗的操作。 > * 如果消除了觀察結果，則操作者還必須報告統計結果（如果包括這些觀察結果）。 > * 如果分析包含協變量，則操作者必須報告分析的統計結果而不包含協變量。【htg12】【htg13】 ### 17.5.3 復制 科學的一個標志就是復制（htg0）的思想，也就是說，其他研究人員應該能夠進行相同的研究并獲得相同的結果。不幸的是，正如我們在前面討論的復制項目的結果中看到的，許多發現是不可復制的。確保研究的可復制性的最好方法是首先自己復制它；對于某些研究來說，這是不可能的，但只要有可能，就應該確保在新的樣本中可以找到它。新的樣本應該有足夠的能量來找到感興趣的效果大小；在許多情況下，這實際上需要比原始樣本更大的樣本。 在復制方面記住一些事情是很重要的。首先，復制嘗試失敗并不一定意味著原始發現是錯誤的；請記住，在 80%功率的標準水平下，仍然有五分之一的機會結果是無意義的，即使有真正的效果。出于這個原因，在我們開始相信任何重要發現之前，我們通常希望看到它的多重復制。不幸的是，包括心理學在內的許多領域在過去都未能遵循這一建議，導致“教科書”的發現很可能是錯誤的。關于 Daryl Bem 的 ESP 研究，涉及 7 項研究的大規模復制嘗試未能復制他的發現（Galak 等人 2012 年）。 第二，記住，p 值并不能為我們提供一個發現復制可能性的度量。正如我們之前討論過的，p 值是一個關于在特定的空假設下一個人的數據的可能性的陳述；它沒有告訴我們關于發現實際上是真的概率的任何事情（正如我們在貝葉斯分析一章中所了解的）。為了知道復制的可能性，我們需要知道發現是真的概率，而我們通常不知道。