## 10.3 統計能力
請記住,在上一章中,根據 Neyman-Pearson 假設檢驗方法,我們必須指定我們對兩種錯誤的容忍程度:假陽性(他們稱之為 _I 型錯誤 _)和假陰性(他們稱之為 _II 型錯誤 _)。人們經常把重點放在 I 型錯誤上,因為作出假陽性的聲明通常被視為一件非常糟糕的事情;例如,韋克菲爾德(1999)現在不可信的聲稱自閉癥與疫苗接種有關,導致了反疫苗情緒的大幅上升。兒童疾病,如麻疹。同樣,我們也不想聲稱一種藥物如果真的不能治愈一種疾病,這就是為什么 I 型錯誤的耐受性通常被設定為相當低的原因,通常是在。但是 II 型錯誤呢?
_ 統計功率 _ 的概念是對第二類錯誤的補充,也就是說,如果存在的話,很可能會得到一個正的結果:

Neyman-Pearson 模型的另一個重要方面,我們沒有在上面討論過,事實上,除了說明 I 型和 II 型錯誤的可接受水平外,我們還必須描述一個特定的替代假設——即,我們希望檢測的影響大小計算機斷層掃描?否則,我們無法解釋——發現大效應的可能性總是高于發現小效應的可能性,因此將根據我們試圖檢測的效應大小而有所不同。
影響功率的因素有三個:
* 樣本量:較大的樣本提供更大的統計能力
* 效果大小:給定的設計總是比小效果有更大的發現大效果的能力(因為發現大效果更容易)
* I 型錯誤率:I 型錯誤與功率之間存在一種關系,因此(其他所有情況相同)減少 I 型錯誤也會降低功率。
我們可以通過模擬看到這一點。首先,讓我們模擬一個單獨的實驗,在這個實驗中,我們使用標準 t 檢驗比較兩組的平均值。我們將改變影響的大小(根據 Cohen's d 的規定)、I 類錯誤率和樣本大小,并針對每一個,我們將檢查重要結果(即功率)的比例是如何受到影響的。圖[10.4](#fig:plotPowerSim)顯示了功率如何隨這些因素的函數而變化的示例。
```r
# Simulate power as a function of sample size, effect size, and alpha
# create a set of functions to generate simulated results
powerDf <-
expand.grid(
sampSizePerGroup = c(12, 24, 48, 96),
effectSize = c(.2, .5, .8),
alpha = c(0.005, 0.05)
) %>%
tidyr::expand(effectSize, sampSizePerGroup, alpha) %>%
group_by(effectSize, sampSizePerGroup, alpha)
runPowerSim <- function(df, nsims = 1000) {
p <- array(NA, dim = nsims)
for (s in 1:nsims) {
data <- data.frame(
y = rnorm(df$sampSizePerGroup * 2),
group = array(0, dim = df$sampSizePerGroup * 2)
)
data$group[1:df$sampSizePerGroup] <- 1
data$y[data$group == 1] <- data$y[data$group == 1] + df$effectSize
tt <- t.test(y ~ group, data = data)
p[s] <- tt$p.value
}
return(data.frame(power = mean(p < df$alpha)))
}
# run the simulation
powerSimResults <- powerDf %>%
do(runPowerSim(.))
```

圖 10.4 功率模擬結果,顯示功率與樣本大小的函數關系,效果大小顯示為不同顏色,alpha 顯示為線條類型。80%功率的標準標準標準用虛線黑線表示。
這個模擬表明,即使樣本大小為 96,我們也幾乎沒有能力用找到一個小的效果()。這意味著,一項旨在實現這一目標的研究將是徒勞的,也就是說,即使存在這種規模的真實效應,也幾乎可以保證什么也找不到。
至少有兩個重要的原因需要關注統計能力,一個是我們在這里討論的,另一個是我們將在第[17 章](#doing-reproducible-research)中討論的。如果你是一名研究人員,你可能不想花時間做無用的實驗。運行一個動力不足的研究基本上是徒勞的,因為這意味著即使它存在,人們也很難找到效果。
### 10.3.1 功率分析
幸運的是,有一些工具可以幫助我們確定實驗的統計能力。這些工具最常見的用途是在計劃一個實驗時,我們想確定我們的樣本需要多大才能有足夠的能力發現我們感興趣的效果。
假設我們有興趣進行一項研究,研究 iOS 和 Android 設備用戶之間的特定個性特征是如何不同的。我們的計劃是收集兩組個體并測量他們的人格特征,然后用 t 檢驗比較這兩組。為了確定必要的樣本大小,我們可以使用`pwr`庫中的`pwr.t.test()`函數。
```r
# power analysis for Cohen's d = 0.5, for 80% power with alpha = 0.05
pwr.t.test(d = 0.5, power = 0.8, sig.level = 0.05)
```
```r
##
## Two-sample t test power calculation
##
## n = 64
## d = 0.5
## sig.level = 0.05
## power = 0.8
## alternative = two.sided
##
## NOTE: n is number in *each* group
```
這告訴我們,為了有足夠的力量找到中等規模的效果,我們需要每組至少 64 名受試者。在開始一項新的研究之前進行一次功率分析總是很重要的,以確保研究不會因為樣本太小而無效。
您可能會想到,如果效果大小足夠大,那么所需的樣本將非常小。例如,如果我們運行相同的功率分析,效果大小為 d=3,那么我們將看到,每個組中只有大約 3 個受試者有足夠的功率來發現差異。
```r
##
## Two-sample t test power calculation
##
## n = 3.1
## d = 3
## sig.level = 0.05
## power = 0.8
## alternative = two.sided
##
## NOTE: n is number in *each* group
```
然而,在科學界很少有人做這樣一個實驗,我們期望能發現如此巨大的影響——正如我們不需要統計數據來告訴我們 16 歲的孩子比 6 歲的孩子高一樣。當我們進行功率分析時,我們需要指定一個對我們的研究合理的效應大小,這通常來自以前的研究。然而,在第[17 章](#doing-reproducible-research)中,我們將討論一種被稱為“贏家詛咒”的現象,這種現象可能導致公布的效果大小大于實際效果大小,因此也應記住這一點。
- 前言
- 0.1 本書為什么存在?
- 0.2 你不是統計學家-我們為什么要聽你的?
- 0.3 為什么是 R?
- 0.4 數據的黃金時代
- 0.5 開源書籍
- 0.6 確認
- 1 引言
- 1.1 什么是統計思維?
- 1.2 統計數據能為我們做什么?
- 1.3 統計學的基本概念
- 1.4 因果關系與統計
- 1.5 閱讀建議
- 2 處理數據
- 2.1 什么是數據?
- 2.2 測量尺度
- 2.3 什么是良好的測量?
- 2.4 閱讀建議
- 3 概率
- 3.1 什么是概率?
- 3.2 我們如何確定概率?
- 3.3 概率分布
- 3.4 條件概率
- 3.5 根據數據計算條件概率
- 3.6 獨立性
- 3.7 逆轉條件概率:貝葉斯規則
- 3.8 數據學習
- 3.9 優勢比
- 3.10 概率是什么意思?
- 3.11 閱讀建議
- 4 匯總數據
- 4.1 為什么要總結數據?
- 4.2 使用表格匯總數據
- 4.3 分布的理想化表示
- 4.4 閱讀建議
- 5 將模型擬合到數據
- 5.1 什么是模型?
- 5.2 統計建模:示例
- 5.3 什么使模型“良好”?
- 5.4 模型是否太好?
- 5.5 最簡單的模型:平均值
- 5.6 模式
- 5.7 變異性:平均值與數據的擬合程度如何?
- 5.8 使用模擬了解統計數據
- 5.9 Z 分數
- 6 數據可視化
- 6.1 數據可視化如何拯救生命
- 6.2 繪圖解剖
- 6.3 使用 ggplot 在 R 中繪制
- 6.4 良好可視化原則
- 6.5 最大化數據/墨水比
- 6.6 避免圖表垃圾
- 6.7 避免數據失真
- 6.8 謊言因素
- 6.9 記住人的局限性
- 6.10 其他因素的修正
- 6.11 建議閱讀和視頻
- 7 取樣
- 7.1 我們如何取樣?
- 7.2 采樣誤差
- 7.3 平均值的標準誤差
- 7.4 中心極限定理
- 7.5 置信區間
- 7.6 閱讀建議
- 8 重新采樣和模擬
- 8.1 蒙特卡羅模擬
- 8.2 統計的隨機性
- 8.3 生成隨機數
- 8.4 使用蒙特卡羅模擬
- 8.5 使用模擬統計:引導程序
- 8.6 閱讀建議
- 9 假設檢驗
- 9.1 無效假設統計檢驗(NHST)
- 9.2 無效假設統計檢驗:一個例子
- 9.3 無效假設檢驗過程
- 9.4 現代環境下的 NHST:多重測試
- 9.5 閱讀建議
- 10 置信區間、效應大小和統計功率
- 10.1 置信區間
- 10.2 效果大小
- 10.3 統計能力
- 10.4 閱讀建議
- 11 貝葉斯統計
- 11.1 生成模型
- 11.2 貝葉斯定理與逆推理
- 11.3 進行貝葉斯估計
- 11.4 估計后驗分布
- 11.5 選擇優先權
- 11.6 貝葉斯假設檢驗
- 11.7 閱讀建議
- 12 分類關系建模
- 12.1 示例:糖果顏色
- 12.2 皮爾遜卡方檢驗
- 12.3 應急表及雙向試驗
- 12.4 標準化殘差
- 12.5 優勢比
- 12.6 貝葉斯系數
- 12.7 超出 2 x 2 表的分類分析
- 12.8 注意辛普森悖論
- 13 建模持續關系
- 13.1 一個例子:仇恨犯罪和收入不平等
- 13.2 收入不平等是否與仇恨犯罪有關?
- 13.3 協方差和相關性
- 13.4 相關性和因果關系
- 13.5 閱讀建議
- 14 一般線性模型
- 14.1 線性回歸
- 14.2 安裝更復雜的模型
- 14.3 變量之間的相互作用
- 14.4“預測”的真正含義是什么?
- 14.5 閱讀建議
- 15 比較方法
- 15.1 學生 T 考試
- 15.2 t 檢驗作為線性模型
- 15.3 平均差的貝葉斯因子
- 15.4 配對 t 檢驗
- 15.5 比較兩種以上的方法
- 16 統計建模過程:一個實例
- 16.1 統計建模過程
- 17 做重復性研究
- 17.1 我們認為科學應該如何運作
- 17.2 科學(有時)是如何工作的
- 17.3 科學中的再現性危機
- 17.4 有問題的研究實踐
- 17.5 進行重復性研究
- 17.6 進行重復性數據分析
- 17.7 結論:提高科學水平
- 17.8 閱讀建議
- References