## 17.4 有問題的研究實踐
美國心理協會(Darley,Zanna,and Roediger 2004)出版了一本名為《完整的學術:職業指南》的暢銷書,旨在為有抱負的研究人員提供如何建立職業生涯的指導。在著名社會心理學家 DarylBem 撰寫的題為“撰寫實證期刊文章”的一章中,Bem 就如何撰寫研究論文提出了一些建議。不幸的是,他所建議的實踐存在嚴重的問題,并被稱為 _ 有問題的研究實踐 _(QRPS)。
> **你應該寫哪篇文章?**你可以寫兩篇文章:(1)你計劃在設計你的研究時寫的文章,或(2)你已經看到結果后最有意義的文章。它們很少相同,正確答案是(2)。
BEM 在這里提出的建議被稱為 _Harking_(在結果已知后進行假設)(Kerr 1998)。這可能看起來無害,但有問題,因為它允許研究重新構建一個事后結論(我們應該用一點鹽)作為先驗預測(我們會有更強的信心)。從本質上講,它允許研究人員根據事實重寫他們的理論,而不是使用該理論進行預測,然后測試它們——類似于移動球門柱,以便球在任何地方移動。因此,很難推翻錯誤的想法,因為始終可以移動門柱來匹配數據。
> **分析數據**從各個角度檢查數據。分別分析性別。組成新的綜合指數。如果一個數據表明了一個新的假設,試著在數據的其他地方找到進一步的證據。如果您看到有趣模式的模糊痕跡,請嘗試重新組織數據,使其變得更大膽。如果有你不喜歡的參與者,或是試驗、觀察者或是面試官給了你不正常的結果,暫時放棄他們。去釣魚探險,尋找一些有趣的東西。不,這不是不道德的。
BEM 在這里建議的是 _p-hacking_,它指的是嘗試許多不同的分析,直到找到顯著的結果。BEM 是正確的,如果一個人報告對數據所做的每一個分析,那么這種方法就不會是“不道德的”。然而,很少有論文討論對數據集執行的所有分析;相反,論文通常只提供 _ 起作用的分析 _——這通常意味著他們發現了一個具有統計意義的結果。有許多不同的方法,一個人可以 p-hack:
* 分析每個主題后的數據,一旦 p<;.05 停止收集數據。
* 分析許多不同的變量,但只報告具有 P<;.05 的變量。
* 收集許多不同的實驗條件,但只報告那些與 P<;.05
* 排除參與者以獲取 P<;.05
* 轉換數據以獲取 P<;.05
Simmons、Nelson 和 Simonsohn(2011)的一篇著名論文表明,使用這些 P-hacking 策略可以大大提高實際的假陽性率,從而導致大量的假陽性結果。
### 17.4.1 ESP 或 QRP?
2011 年,DarylBem 發表了一篇文章(Bem2011),聲稱發現了超感官知覺的科學證據。文章指出:
> 本文報告了 9 個實驗,涉及 1000 多名參與者,通過“時間倒轉”確定的心理效應來測試追溯影響,以便在假定的因果刺激事件發生之前獲得個體的反應。…在所有 9 個實驗中,psi 性能的平均效應大小(d)為 0.22,除一個實驗外,所有實驗都產生了統計上顯著的結果。
當研究人員開始研究 bem 的文章時,很明顯他參與了他在上面討論的章節中推薦的所有 qrps。正如 TalYarkoni 在[一篇博客文章中指出的那樣,文章](http://www.talyarkoni.org/blog/2011/01/10/the-psychology-of-parapsychology-or-why-good-researchers-publishing-good-articles-in-good-journals-can-still-get-it-totally-wrong/):
* 不同研究的樣本量不同
* 不同的研究似乎被集中在一起或分開。
* 這些研究允許許多不同的假設,還不清楚提前計劃了哪些假設。
* BEM 使用了單尾測試,即使還不清楚是否有方向性預測(因此 alpha 實際上是 0.1)
* 大多數 p 值非常接近 0.05。
* 目前還不清楚還有多少其他的研究在進行,但沒有報道。
- 前言
- 0.1 本書為什么存在?
- 0.2 你不是統計學家-我們為什么要聽你的?
- 0.3 為什么是 R?
- 0.4 數據的黃金時代
- 0.5 開源書籍
- 0.6 確認
- 1 引言
- 1.1 什么是統計思維?
- 1.2 統計數據能為我們做什么?
- 1.3 統計學的基本概念
- 1.4 因果關系與統計
- 1.5 閱讀建議
- 2 處理數據
- 2.1 什么是數據?
- 2.2 測量尺度
- 2.3 什么是良好的測量?
- 2.4 閱讀建議
- 3 概率
- 3.1 什么是概率?
- 3.2 我們如何確定概率?
- 3.3 概率分布
- 3.4 條件概率
- 3.5 根據數據計算條件概率
- 3.6 獨立性
- 3.7 逆轉條件概率:貝葉斯規則
- 3.8 數據學習
- 3.9 優勢比
- 3.10 概率是什么意思?
- 3.11 閱讀建議
- 4 匯總數據
- 4.1 為什么要總結數據?
- 4.2 使用表格匯總數據
- 4.3 分布的理想化表示
- 4.4 閱讀建議
- 5 將模型擬合到數據
- 5.1 什么是模型?
- 5.2 統計建模:示例
- 5.3 什么使模型“良好”?
- 5.4 模型是否太好?
- 5.5 最簡單的模型:平均值
- 5.6 模式
- 5.7 變異性:平均值與數據的擬合程度如何?
- 5.8 使用模擬了解統計數據
- 5.9 Z 分數
- 6 數據可視化
- 6.1 數據可視化如何拯救生命
- 6.2 繪圖解剖
- 6.3 使用 ggplot 在 R 中繪制
- 6.4 良好可視化原則
- 6.5 最大化數據/墨水比
- 6.6 避免圖表垃圾
- 6.7 避免數據失真
- 6.8 謊言因素
- 6.9 記住人的局限性
- 6.10 其他因素的修正
- 6.11 建議閱讀和視頻
- 7 取樣
- 7.1 我們如何取樣?
- 7.2 采樣誤差
- 7.3 平均值的標準誤差
- 7.4 中心極限定理
- 7.5 置信區間
- 7.6 閱讀建議
- 8 重新采樣和模擬
- 8.1 蒙特卡羅模擬
- 8.2 統計的隨機性
- 8.3 生成隨機數
- 8.4 使用蒙特卡羅模擬
- 8.5 使用模擬統計:引導程序
- 8.6 閱讀建議
- 9 假設檢驗
- 9.1 無效假設統計檢驗(NHST)
- 9.2 無效假設統計檢驗:一個例子
- 9.3 無效假設檢驗過程
- 9.4 現代環境下的 NHST:多重測試
- 9.5 閱讀建議
- 10 置信區間、效應大小和統計功率
- 10.1 置信區間
- 10.2 效果大小
- 10.3 統計能力
- 10.4 閱讀建議
- 11 貝葉斯統計
- 11.1 生成模型
- 11.2 貝葉斯定理與逆推理
- 11.3 進行貝葉斯估計
- 11.4 估計后驗分布
- 11.5 選擇優先權
- 11.6 貝葉斯假設檢驗
- 11.7 閱讀建議
- 12 分類關系建模
- 12.1 示例:糖果顏色
- 12.2 皮爾遜卡方檢驗
- 12.3 應急表及雙向試驗
- 12.4 標準化殘差
- 12.5 優勢比
- 12.6 貝葉斯系數
- 12.7 超出 2 x 2 表的分類分析
- 12.8 注意辛普森悖論
- 13 建模持續關系
- 13.1 一個例子:仇恨犯罪和收入不平等
- 13.2 收入不平等是否與仇恨犯罪有關?
- 13.3 協方差和相關性
- 13.4 相關性和因果關系
- 13.5 閱讀建議
- 14 一般線性模型
- 14.1 線性回歸
- 14.2 安裝更復雜的模型
- 14.3 變量之間的相互作用
- 14.4“預測”的真正含義是什么?
- 14.5 閱讀建議
- 15 比較方法
- 15.1 學生 T 考試
- 15.2 t 檢驗作為線性模型
- 15.3 平均差的貝葉斯因子
- 15.4 配對 t 檢驗
- 15.5 比較兩種以上的方法
- 16 統計建模過程:一個實例
- 16.1 統計建模過程
- 17 做重復性研究
- 17.1 我們認為科學應該如何運作
- 17.2 科學(有時)是如何工作的
- 17.3 科學中的再現性危機
- 17.4 有問題的研究實踐
- 17.5 進行重復性研究
- 17.6 進行重復性數據分析
- 17.7 結論:提高科學水平
- 17.8 閱讀建議
- References