## 17.4 有問題的研究實踐 美國心理協會（Darley，Zanna，and Roediger 2004）出版了一本名為《完整的學術：職業指南》的暢銷書，旨在為有抱負的研究人員提供如何建立職業生涯的指導。在著名社會心理學家 DarylBem 撰寫的題為“撰寫實證期刊文章”的一章中，Bem 就如何撰寫研究論文提出了一些建議。不幸的是，他所建議的實踐存在嚴重的問題，并被稱為 _ 有問題的研究實踐 _（QRPS）。 > **你應該寫哪篇文章？**你可以寫兩篇文章：（1）你計劃在設計你的研究時寫的文章，或（2）你已經看到結果后最有意義的文章。它們很少相同，正確答案是（2）。 BEM 在這里提出的建議被稱為 _Harking_（在結果已知后進行假設）（Kerr 1998）。這可能看起來無害，但有問題，因為它允許研究重新構建一個事后結論（我們應該用一點鹽）作為先驗預測（我們會有更強的信心）。從本質上講，它允許研究人員根據事實重寫他們的理論，而不是使用該理論進行預測，然后測試它們——類似于移動球門柱，以便球在任何地方移動。因此，很難推翻錯誤的想法，因為始終可以移動門柱來匹配數據。 > **分析數據**從各個角度檢查數據。分別分析性別。組成新的綜合指數。如果一個數據表明了一個新的假設，試著在數據的其他地方找到進一步的證據。如果您看到有趣模式的模糊痕跡，請嘗試重新組織數據，使其變得更大膽。如果有你不喜歡的參與者，或是試驗、觀察者或是面試官給了你不正常的結果，暫時放棄他們。去釣魚探險，尋找一些有趣的東西。不，這不是不道德的。 BEM 在這里建議的是 _p-hacking_，它指的是嘗試許多不同的分析，直到找到顯著的結果。BEM 是正確的，如果一個人報告對數據所做的每一個分析，那么這種方法就不會是“不道德的”。然而，很少有論文討論對數據集執行的所有分析；相反，論文通常只提供 _ 起作用的分析 _——這通常意味著他們發現了一個具有統計意義的結果。有許多不同的方法，一個人可以 p-hack： * 分析每個主題后的數據，一旦 p&lt；.05 停止收集數據。 * 分析許多不同的變量，但只報告具有 P&lt；.05 的變量。 * 收集許多不同的實驗條件，但只報告那些與 P&lt；.05 * 排除參與者以獲取 P&lt；.05 * 轉換數據以獲取 P&lt；.05 Simmons、Nelson 和 Simonsohn（2011）的一篇著名論文表明，使用這些 P-hacking 策略可以大大提高實際的假陽性率，從而導致大量的假陽性結果。 ### 17.4.1 ESP 或 QRP？ 2011 年，DarylBem 發表了一篇文章（Bem2011），聲稱發現了超感官知覺的科學證據。文章指出： > 本文報告了 9 個實驗，涉及 1000 多名參與者，通過“時間倒轉”確定的心理效應來測試追溯影響，以便在假定的因果刺激事件發生之前獲得個體的反應。…在所有 9 個實驗中，psi 性能的平均效應大小（d）為 0.22，除一個實驗外，所有實驗都產生了統計上顯著的結果。 當研究人員開始研究 bem 的文章時，很明顯他參與了他在上面討論的章節中推薦的所有 qrps。正如 TalYarkoni 在[一篇博客文章中指出的那樣，文章](http://www.talyarkoni.org/blog/2011/01/10/the-psychology-of-parapsychology-or-why-good-researchers-publishing-good-articles-in-good-journals-can-still-get-it-totally-wrong/)： * 不同研究的樣本量不同 * 不同的研究似乎被集中在一起或分開。 * 這些研究允許許多不同的假設，還不清楚提前計劃了哪些假設。 * BEM 使用了單尾測試，即使還不清楚是否有方向性預測（因此 alpha 實際上是 0.1） * 大多數 p 值非常接近 0.05。 * 目前還不清楚還有多少其他的研究在進行，但沒有報道。