## 4.3 分布的理想化表示
數據集就像雪花,因為每一個都是不同的,但盡管如此,在不同類型的數據中經常會看到一些模式。這允許我們使用理想化的數據表示來進一步總結它們。讓我們用[4.5](#fig:heightHistSep)中繪制的成人身高數據,并將它們與一個非常不同的變量一起繪制:脈率(每分鐘心跳),也用 nhanes 測量(見圖[4.6](#fig:NormalDistPlotsWithDist))。

圖 4.6 nhanes 數據集中高度(左)和脈沖(右)的柱狀圖,每個數據集中的正態分布重疊。
雖然這些情節看起來不完全相同,但都具有在中間圓頂上相對對稱的一般特征。這個形狀實際上是我們收集數據時常見的分布形狀之一,我們稱之為 _ 正態 _(或 _ 高斯 _)分布。該分布由兩個值(我們稱之為分布的 _ 參數 _)定義:中心峰的位置(我們稱之為 _ 平均值 _)和分布的寬度(用稱為 _ 標準偏差的參數描述)。操作 _)。圖[4.6](#fig:NormalDistPlotsWithDist)顯示了在每個歷史程序頂部繪制的適當正態分布。您可以看到,雖然曲線不完全符合數據,但它們在描述分布方面做得很好——只有兩個數字!
正如我們在后面的課程中討論中心極限定理時所看到的,世界上許多變量呈現正態分布的形式有一個深刻的數學原因。
### 4.3.1 偏斜度
圖[4.6](#fig:NormalDistPlotsWithDist)中的例子很好地遵循正態分布,但在許多情況下,數據將以系統的方式偏離正態分布。數據可以偏離的一種方式是不對稱的,這樣分布的一個尾部比另一個更加密集。我們稱之為“歪斜”。偏度通常發生在測量被限制為非負值的情況下,例如我們計算事物或測量經過的時間(因此變量不能取負值)。
斜率的一個例子可以在舊金山國際機場機場安全線的平均等待時間中看到,在圖 [4.7 的左側面板](#fig:SFOWaitTimes)中繪制。您可以看到,雖然大多數等待時間不到 20 分鐘,但有許多情況下,它們會更長,超過 60 分鐘!這是一個“右偏”分布的例子,其中右尾比左尾長;在查看計數或測量時間時,這些是常見的,不能小于零。看到“左偏”分布不太常見,但它們可能發生,例如,當查看不能取大于 1 的值的分數值時。

圖 4.7 右偏和長尾分布示例。左:從[https://awt.cbp.gov/](https://awt.cbp.gov/)獲取的 SFO 終端 A 安全的平均等待時間(2017 年 1-10 月)。右圖:從斯坦福大型網絡數據庫中獲取的 3663 個人中 Facebook 好友數量的柱狀圖。朋友最多的人用藍點表示。
### 4.3.2 長尾分布
歷史上,統計數據主要集中在正態分布的數據上,但有許多數據類型看起來與正態分布完全不同。特別是,許多現實世界的分布是“長尾巴”,這意味著右尾巴遠遠超出了分布中最典型的成員。一種最有趣的數據類型,其中長尾分布發生在社會網絡的分析。例如,讓我們看看來自斯坦福大網絡數據庫[的 Facebook 好友數據,并繪制數據庫中 3663 人的好友數量柱狀圖(參見圖](https://snap.stanford.edu/data/egonets-Facebook.html)[4.7](#fig:SFOWaitTimes)的右面板)。如我們所見,這個分布有一個很長的右尾——一般人有 24.09 個朋友,而朋友最多的人(用藍點表示)有 1043 個!
在現實世界中,長尾分布越來越被認可。特別是,復雜系統的許多特征都具有這些分布特征,從文本中的單詞頻率,到進出機場的航班數量,再到大腦網絡的連接。有許多不同的方法可以實現長尾分布,但在基督教圣經中所謂的“馬太效應”的情況下會出現一個常見的方法:
> 因為凡有更多的,必被賜給他,他也必富足;但沒有的,連他所擁有的,也必被奪去。-馬太福音 25:29,修訂后的標準版
通常被解釋為“富人越富有”。在這種情況下,優勢是復合的,這樣那些有更多朋友的人可以接觸到更多的新朋友,而那些有更多錢的人可以做更多能增加他們財富的事情。
隨著課程的發展,我們將看到一些長尾分布的例子,我們應該記住,當面對長尾數據時,統計中的許多工具可能會失敗。正如納西姆·尼古拉斯·塔勒布在其《黑天鵝》一書中指出的那樣,這種長尾分布在 2008 年金融危機中起到了至關重要的作用,因為交易員使用的許多金融模型都假設金融系統將遵循正態分布,而他們顯然沒有遵循正態分布。
- 前言
- 0.1 本書為什么存在?
- 0.2 你不是統計學家-我們為什么要聽你的?
- 0.3 為什么是 R?
- 0.4 數據的黃金時代
- 0.5 開源書籍
- 0.6 確認
- 1 引言
- 1.1 什么是統計思維?
- 1.2 統計數據能為我們做什么?
- 1.3 統計學的基本概念
- 1.4 因果關系與統計
- 1.5 閱讀建議
- 2 處理數據
- 2.1 什么是數據?
- 2.2 測量尺度
- 2.3 什么是良好的測量?
- 2.4 閱讀建議
- 3 概率
- 3.1 什么是概率?
- 3.2 我們如何確定概率?
- 3.3 概率分布
- 3.4 條件概率
- 3.5 根據數據計算條件概率
- 3.6 獨立性
- 3.7 逆轉條件概率:貝葉斯規則
- 3.8 數據學習
- 3.9 優勢比
- 3.10 概率是什么意思?
- 3.11 閱讀建議
- 4 匯總數據
- 4.1 為什么要總結數據?
- 4.2 使用表格匯總數據
- 4.3 分布的理想化表示
- 4.4 閱讀建議
- 5 將模型擬合到數據
- 5.1 什么是模型?
- 5.2 統計建模:示例
- 5.3 什么使模型“良好”?
- 5.4 模型是否太好?
- 5.5 最簡單的模型:平均值
- 5.6 模式
- 5.7 變異性:平均值與數據的擬合程度如何?
- 5.8 使用模擬了解統計數據
- 5.9 Z 分數
- 6 數據可視化
- 6.1 數據可視化如何拯救生命
- 6.2 繪圖解剖
- 6.3 使用 ggplot 在 R 中繪制
- 6.4 良好可視化原則
- 6.5 最大化數據/墨水比
- 6.6 避免圖表垃圾
- 6.7 避免數據失真
- 6.8 謊言因素
- 6.9 記住人的局限性
- 6.10 其他因素的修正
- 6.11 建議閱讀和視頻
- 7 取樣
- 7.1 我們如何取樣?
- 7.2 采樣誤差
- 7.3 平均值的標準誤差
- 7.4 中心極限定理
- 7.5 置信區間
- 7.6 閱讀建議
- 8 重新采樣和模擬
- 8.1 蒙特卡羅模擬
- 8.2 統計的隨機性
- 8.3 生成隨機數
- 8.4 使用蒙特卡羅模擬
- 8.5 使用模擬統計:引導程序
- 8.6 閱讀建議
- 9 假設檢驗
- 9.1 無效假設統計檢驗(NHST)
- 9.2 無效假設統計檢驗:一個例子
- 9.3 無效假設檢驗過程
- 9.4 現代環境下的 NHST:多重測試
- 9.5 閱讀建議
- 10 置信區間、效應大小和統計功率
- 10.1 置信區間
- 10.2 效果大小
- 10.3 統計能力
- 10.4 閱讀建議
- 11 貝葉斯統計
- 11.1 生成模型
- 11.2 貝葉斯定理與逆推理
- 11.3 進行貝葉斯估計
- 11.4 估計后驗分布
- 11.5 選擇優先權
- 11.6 貝葉斯假設檢驗
- 11.7 閱讀建議
- 12 分類關系建模
- 12.1 示例:糖果顏色
- 12.2 皮爾遜卡方檢驗
- 12.3 應急表及雙向試驗
- 12.4 標準化殘差
- 12.5 優勢比
- 12.6 貝葉斯系數
- 12.7 超出 2 x 2 表的分類分析
- 12.8 注意辛普森悖論
- 13 建模持續關系
- 13.1 一個例子:仇恨犯罪和收入不平等
- 13.2 收入不平等是否與仇恨犯罪有關?
- 13.3 協方差和相關性
- 13.4 相關性和因果關系
- 13.5 閱讀建議
- 14 一般線性模型
- 14.1 線性回歸
- 14.2 安裝更復雜的模型
- 14.3 變量之間的相互作用
- 14.4“預測”的真正含義是什么?
- 14.5 閱讀建議
- 15 比較方法
- 15.1 學生 T 考試
- 15.2 t 檢驗作為線性模型
- 15.3 平均差的貝葉斯因子
- 15.4 配對 t 檢驗
- 15.5 比較兩種以上的方法
- 16 統計建模過程:一個實例
- 16.1 統計建模過程
- 17 做重復性研究
- 17.1 我們認為科學應該如何運作
- 17.2 科學(有時)是如何工作的
- 17.3 科學中的再現性危機
- 17.4 有問題的研究實踐
- 17.5 進行重復性研究
- 17.6 進行重復性數據分析
- 17.7 結論:提高科學水平
- 17.8 閱讀建議
- References