## 1.3 統計學的基本概念
有許多非常基本的思想貫穿了統計思維的幾乎所有方面。斯蒂格勒(2016)在他的杰出著作《統計智慧的七大支柱》中概述了其中的幾點,我在這里對此進行了補充。
### 1.3.1 從數據中學習
統計的一種方法是作為一組工具,使我們能夠從數據中學習。在任何情況下,我們都從一組關于可能發生的情況的想法或假設開始。在這項純粹的研究中,研究人員可能已經開始期望,吃更多的脂肪會導致更高的死亡率,鑒于目前關于飽和脂肪的消極教條。在本課程的后面,我們將介紹 _ 先驗知識 _ 的概念,它旨在反映我們所帶來的知識。這種先前的知識可能在其強度上有所不同,通常是基于我們的經驗;如果我第一次去一家餐館,我可能對它有多好的期望值很低,但是如果我去一家以前吃過 10 次的餐館,我的期望值會更高。同樣地,如果我在一個餐館評論網站上看到一家餐館的平均四星級評價僅僅基于三個評論,那么我的期望就比基于 300 個評論的期望要弱。
統計學為我們提供了一種方法來描述如何最好地利用新的數據來更新我們的信仰,并且統計學和心理學之間有著深刻的聯系。事實上,許多心理學中的人和動物學習理論與機器學習(htg0)這一新領域的思想緊密相連。機器學習是統計學和計算機科學的接口領域,主要研究如何建立可以從經驗中學習的計算機算法。雖然統計和機器學習經常試圖解決相同的問題,但來自這些領域的研究人員往往采取非常不同的方法;著名的統計學家 Leo Breiman 曾將它們稱為“兩種文化”,以反映它們的方法有多不同(Breiman 2001 年)。在這本書中,我將嘗試將這兩種文化融合在一起,因為這兩種方法都為思考數據提供了有用的工具。
### 1.3.2 聚合
另一種統計方法是“丟棄數據的科學”。在上面的純研究的例子中,我們取了 100000 多個數字并將它們壓縮成 10 個。正是這種 _ 聚合 _ 是統計學中最重要的概念之一。當它第一次被推進時,這是革命性的:如果我們把每一個參與者的所有細節都拋開了,那么我們怎么能確定我們沒有遺漏重要的東西呢?
正如我們將看到的,統計學為我們提供了描述數據集合結構的方法,并提供了解釋為什么這種方法通常工作得很好的理論基礎。但是,還必須記住,聚合可能會走得太遠,稍后我們將遇到這樣的情況:摘要可能會對正在匯總的數據提供誤導性的圖片。
### 1.3.3 不確定性
世界是一個不確定的地方。我們現在知道吸煙會導致肺癌,但這種原因是概率性的:在過去 50 年里,一個 68 歲的男人每天抽兩包煙,并且繼續吸煙,他患肺癌的風險是 15%(7 分之一),比不吸煙的人患肺癌的風險要高很多。然而,這也意味著會有很多人終生吸煙,永遠不會得肺癌。統計學為我們提供了工具來描述不確定性,在不確定性下做出決定,并做出我們可以量化的不確定性預測。
人們經常看到記者寫道,科學研究人員已經“證明”了一些假設。但是統計分析永遠不能“證明”一個假設,在證明它一定是真的意義上(就像在數學證明中一樣)。統計數據可以為我們提供證據,但它總是試探性的,并且受制于現實世界中總是存在的不確定性。
### 1.3.4 取樣
聚合的概念意味著我們可以通過跨數據折疊來獲得有用的洞察力——但是我們需要多少數據呢?(htg0)抽樣(htg1)的思想是,只要以正確的方式獲得樣本,我們就可以根據人口中的少量樣本來總結整個人口。例如,這項純粹的研究招募了大約 13.5 萬人的樣本,但其目的是提供有關數十億人的見解,這些人是從這些人中取樣的。正如我們前面討論過的,獲得研究樣本的方法是至關重要的,因為它決定了我們可以多廣泛地概括結果。從有關抽樣的統計數據中得出的另一個基本觀點是,盡管較大的樣本總是更好(就它們準確地代表整個群體的能力而言),但隨著樣本越來越大,回報會減少。事實上,大樣本收益減少的速度遵循一個簡單的數學規則,隨著樣本大小的平方根增長。
- 前言
- 0.1 本書為什么存在?
- 0.2 你不是統計學家-我們為什么要聽你的?
- 0.3 為什么是 R?
- 0.4 數據的黃金時代
- 0.5 開源書籍
- 0.6 確認
- 1 引言
- 1.1 什么是統計思維?
- 1.2 統計數據能為我們做什么?
- 1.3 統計學的基本概念
- 1.4 因果關系與統計
- 1.5 閱讀建議
- 2 處理數據
- 2.1 什么是數據?
- 2.2 測量尺度
- 2.3 什么是良好的測量?
- 2.4 閱讀建議
- 3 概率
- 3.1 什么是概率?
- 3.2 我們如何確定概率?
- 3.3 概率分布
- 3.4 條件概率
- 3.5 根據數據計算條件概率
- 3.6 獨立性
- 3.7 逆轉條件概率:貝葉斯規則
- 3.8 數據學習
- 3.9 優勢比
- 3.10 概率是什么意思?
- 3.11 閱讀建議
- 4 匯總數據
- 4.1 為什么要總結數據?
- 4.2 使用表格匯總數據
- 4.3 分布的理想化表示
- 4.4 閱讀建議
- 5 將模型擬合到數據
- 5.1 什么是模型?
- 5.2 統計建模:示例
- 5.3 什么使模型“良好”?
- 5.4 模型是否太好?
- 5.5 最簡單的模型:平均值
- 5.6 模式
- 5.7 變異性:平均值與數據的擬合程度如何?
- 5.8 使用模擬了解統計數據
- 5.9 Z 分數
- 6 數據可視化
- 6.1 數據可視化如何拯救生命
- 6.2 繪圖解剖
- 6.3 使用 ggplot 在 R 中繪制
- 6.4 良好可視化原則
- 6.5 最大化數據/墨水比
- 6.6 避免圖表垃圾
- 6.7 避免數據失真
- 6.8 謊言因素
- 6.9 記住人的局限性
- 6.10 其他因素的修正
- 6.11 建議閱讀和視頻
- 7 取樣
- 7.1 我們如何取樣?
- 7.2 采樣誤差
- 7.3 平均值的標準誤差
- 7.4 中心極限定理
- 7.5 置信區間
- 7.6 閱讀建議
- 8 重新采樣和模擬
- 8.1 蒙特卡羅模擬
- 8.2 統計的隨機性
- 8.3 生成隨機數
- 8.4 使用蒙特卡羅模擬
- 8.5 使用模擬統計:引導程序
- 8.6 閱讀建議
- 9 假設檢驗
- 9.1 無效假設統計檢驗(NHST)
- 9.2 無效假設統計檢驗:一個例子
- 9.3 無效假設檢驗過程
- 9.4 現代環境下的 NHST:多重測試
- 9.5 閱讀建議
- 10 置信區間、效應大小和統計功率
- 10.1 置信區間
- 10.2 效果大小
- 10.3 統計能力
- 10.4 閱讀建議
- 11 貝葉斯統計
- 11.1 生成模型
- 11.2 貝葉斯定理與逆推理
- 11.3 進行貝葉斯估計
- 11.4 估計后驗分布
- 11.5 選擇優先權
- 11.6 貝葉斯假設檢驗
- 11.7 閱讀建議
- 12 分類關系建模
- 12.1 示例:糖果顏色
- 12.2 皮爾遜卡方檢驗
- 12.3 應急表及雙向試驗
- 12.4 標準化殘差
- 12.5 優勢比
- 12.6 貝葉斯系數
- 12.7 超出 2 x 2 表的分類分析
- 12.8 注意辛普森悖論
- 13 建模持續關系
- 13.1 一個例子:仇恨犯罪和收入不平等
- 13.2 收入不平等是否與仇恨犯罪有關?
- 13.3 協方差和相關性
- 13.4 相關性和因果關系
- 13.5 閱讀建議
- 14 一般線性模型
- 14.1 線性回歸
- 14.2 安裝更復雜的模型
- 14.3 變量之間的相互作用
- 14.4“預測”的真正含義是什么?
- 14.5 閱讀建議
- 15 比較方法
- 15.1 學生 T 考試
- 15.2 t 檢驗作為線性模型
- 15.3 平均差的貝葉斯因子
- 15.4 配對 t 檢驗
- 15.5 比較兩種以上的方法
- 16 統計建模過程:一個實例
- 16.1 統計建模過程
- 17 做重復性研究
- 17.1 我們認為科學應該如何運作
- 17.2 科學(有時)是如何工作的
- 17.3 科學中的再現性危機
- 17.4 有問題的研究實踐
- 17.5 進行重復性研究
- 17.6 進行重復性數據分析
- 17.7 結論:提高科學水平
- 17.8 閱讀建議
- References