使用 Pandas 快速和骯臟的數據分析 · Machine Learning Mastery 博客文章翻譯

# 使用 Pandas 快速和骯臟的數據分析 > 原文： [https://machinelearningmastery.com/quick-and-dirty-data-analysis-with-pandas/](https://machinelearningmastery.com/quick-and-dirty-data-analysis-with-pandas/) 在為建模選擇和準備數據之前，您需要了解您必須從哪開始。如果您正在使用 Python 堆棧進行機器學習，那么可以用來更好地理解數據的庫是 Pandas。在這篇文章中，您將發現一些快速而骯臟的 Pandas 秘籍，以提高您對數據結構，分布和關系的理解。 * **更新 March / 2018** ：添加了備用鏈接以下載數據集，因為原始圖像已被刪除。 ## 數據分析 [數據分析](http://machinelearningmastery.com/quick-and-dirty-data-analysis-for-your-machine-learning-problem/ "Quick and Dirty Data Analysis for your Machine Learning Problem")是關于詢問和回答有關您數據的問題。作為機器學習從業者，您可能不熟悉您所在的領域。擁有主題專家是理想的，但這并不總是可行的。當您使用標準機器學習數據集，咨詢或處理競爭數據集學習應用機器學習時，這些問題也適用。您需要激發有關您可以追求的數據的問題。您需要更好地了解您擁有的數據。您可以通過匯總和可視化數據來實現。 ### 熊貓 [Pandas Python 庫](http://machinelearningmastery.com/prepare-data-for-machine-learning-in-python-with-pandas/ "Prepare Data for Machine Learning in Python with Pandas")專為快速數據分析和操作而構建。如果您在其他平臺（如 R）上完成此任務，那么它既簡單又熟悉。 Pandas 的優勢似乎在數據處理方面，但它帶有非常方便易用的數據分析工具，為 [statsmodels](http://statsmodels.sourceforge.net/) 中的標準統計方法和 [matplotlib 中的圖形方法提供包裝器](http://matplotlib.org/)。 ### 糖尿病的發病我們需要一個小數據集，您可以使用它來探索使用 Pandas 的不同數據分析秘籍。 UIC 機器學習庫提供了大量不同的標準機器學習數據集，您可以使用它們來學習和實踐應用的機器學習。我最喜歡的是[皮馬印第安人糖尿病數據集](http://archive.ics.uci.edu/ml/datasets/Pima+Indians+Diabetes)。該數據集使用其醫療記錄中的詳細信息描述了女性[皮馬印第安人](http://en.wikipedia.org/wiki/Pima_people)中糖尿病發病的發生或缺乏。（更新：[從這里下載](https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv)）。下載數據集并將其保存到當前工作目錄中，名稱為 _pima-indians-diabetes.data_ 。 ## 總結數據我們將從了解我們擁有的數據開始，通過查看它的結構。 ### 加載數據首先將 CSV 數據從文件作為數據幀加載到內存中。我們知道所提供數據的名稱，因此我們將在從文件加載數據時設置這些名稱。 Python ``` import pandas as pd names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class'] data = pd.read_csv('pima-indians-diabetes.data', names=names) ``` 了解有關 [Pandas IO 功能](http://pandas.pydata.org/pandas-docs/stable/io.html)和 [read_csv 功能](http://pandas.pydata.org/pandas-docs/stable/io.html#io-read-csv-table)的更多信息。 ### 描述數據我們現在可以看一下數據的形狀。我們可以通過直接打印數據框來查看前 60 行數據。 Python ``` print(data) ``` 我們可以看到所有數據都是數字的，最后的類值是我們想要做出預測的因變量。在數據轉儲結束時，我們可以看到數據框本身的描述為 768 行和 9 列。所以現在我們已經了解了數據的形狀。接下來，我們可以通過查看摘要統計信息來了解每個屬性的分布情況。 Python ``` print(data.describe()) ``` 這將顯示數據框中每個屬性的詳細分布信息表。具體來說：計數，平均值，標準差，最小值，最大值，第 25 個，第 50 個（中位數），第 75 個百分點。我們可以查看這些統計數據并開始注意有關我們問題的有趣事實。如平均懷孕次數為 3.8，最小年齡為 21 歲，有些人的體重指數為 0，這是不可能的，并且有跡象表明某些屬性值應標記為缺失。了解有關 DataFrame 上[描述函數](http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.describe.html)的更多信息。 ## 可視化數據圖表更能說明屬性的分布和關系。然而，重要的是要花時間并首先審查統計數據。每當您以不同的方式查看數據時，您就會打開自己，注意到不同的方面，并可能對問題有不同的見解。 Pandas 使用 matplotlib 創建圖形并提供方便的功能。您可以[詳細了解 Pandas 中的數據可視化。](http://pandas.pydata.org/pandas-docs/stable/visualization.html) ### 特征分布要審查的第一個簡單屬性是每個屬性的分布。我們可以通過查看 box 和 whisker 圖來開始并查看每個屬性的傳播。 Python ``` import matplotlib.pyplot as plt pd.options.display.mpl_style = 'default' data.boxplot() ``` 此片段將繪制圖形的樣式（通過 matplotlib）更改為默認樣式，該樣式看起來更好。 [![Attribute box and whisker plots](https://img.kancloud.cn/87/97/8797481fae551644f012ff16b67121cf_1024x709.jpg)](https://3qeqpr26caki16dnhd19sv6by6v-wpengine.netdna-ssl.com/wp-content/uploads/2014/06/boxplots.png) 屬性框和胡須圖我們可以看到 test 屬性有很多異常值。我們還可以看到 plas 屬性似乎具有相對均勻的正態分布。我們還可以通過將值離散化為桶來查看每個屬性的分布，并將每個桶中的頻率作為直方圖進行檢查。 Python ``` data.hist() ``` 這使您可以記錄屬性分布的有趣屬性，例如 pres 和 skin 等屬性的可能正態分布。 [![Attribute Histogram Matrix](https://img.kancloud.cn/62/07/6207c27733676742cb3a280603f331a7_1024x685.jpg)](https://3qeqpr26caki16dnhd19sv6by6v-wpengine.netdna-ssl.com/wp-content/uploads/2014/06/histograms.png) 屬性直方圖矩陣您可以在 DataFrame 上查看有關 [boxplot](http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.boxplot.html#pandas.DataFrame.boxplot) 和 [hist 函數](http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.hist.html#pandas.DataFrame.hist)的更多詳細信息 ### 特征級關系探索的下一個重要關系是 class 屬性的每個屬性。一種方法是可視化每個類的數據實例的屬性分布以及注釋和差異。您可以為每個屬性生成直方圖矩陣，為每個類值生成一個直方圖矩陣，如下所示： Python ``` data.groupby('class').hist() ``` 數據按類屬性（兩組）分組，然后為每個組中的屬性創建直方圖矩陣。結果是兩個圖像。 [![Attribute Histogram Matrix for Class 0](https://img.kancloud.cn/a1/33/a133aec017eb2926036bd9f72a85bbdc_1024x793.jpg)](https://3qeqpr26caki16dnhd19sv6by6v-wpengine.netdna-ssl.com/wp-content/uploads/2014/06/histogram_class0.png) 0 類的屬性直方圖矩陣 [![Attribute Histogram Matrix for Class 1](https://img.kancloud.cn/34/41/3441bbfc7a791df8246213088de2bc63_1024x788.jpg)](https://3qeqpr26caki16dnhd19sv6by6v-wpengine.netdna-ssl.com/wp-content/uploads/2014/06/histograpm_class1.png) 1 類屬性直方圖矩陣這有助于指出類之間的分布差異，如 plas 屬性的分布。您可以更好地對同一圖表中每個類的屬性值進行對比 ``` data.groupby('class').plas.hist(alpha=0.4) ``` 這將按類別對數據進行分組，僅繪制等離子體的直方圖，其中紅色的類值為 0，藍色的類值為 1。你可以看到一個類似形狀的正態分布，但是一個轉變。此屬性可能有助于區分類。 [![Overlapping Attribute Histograms for Each Class](https://img.kancloud.cn/c8/95/c8950afbe67d43300a357b8a70f820d9_1024x838.jpg)](https://3qeqpr26caki16dnhd19sv6by6v-wpengine.netdna-ssl.com/wp-content/uploads/2014/06/histogram_overlapping.png) 每個類的重疊屬性直方圖您可以在 DataFrame 上閱讀有關 [groupby 函數](http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.groupby.html#pandas.DataFrame.groupby)的更多信息。 ### 特征 - 特征關系探索的最后一個重要關系是屬性之間的關系。我們可以通過查看每對屬性的交互分布來查看屬性之間的關系。 Python ``` from pandas.plotting import scatter_matrix scatter_matrix(data, alpha=0.2, figsize=(6, 6), diagonal='kde') ``` 這使用構建函數來創建所有屬性與所有屬性的散點圖矩陣。每個屬性相對于自身繪制的對角線顯示了屬性的核密度估計。 [![Attribute Scatter Plot Matrix](https://img.kancloud.cn/4e/a1/4ea17b108568373b4ea554a0ad6b3414_1024x861.jpg)](https://3qeqpr26caki16dnhd19sv6by6v-wpengine.netdna-ssl.com/wp-content/uploads/2014/06/scatterplots.png) 屬性散點圖矩陣這是一個強大的情節，可以從中獲得關于數據的大量靈感。例如，我們可以看到年齡和 preg 之間可能的相關性以及皮膚和質量之間的另一種可能的關系。 ## 摘要我們在這篇文章中介紹了很多內容。我們開始研究快速和臟的單行程序，以便以 CSV 格式加載我們的數據并使用匯總統計信息對其進行描述。接下來，我們研究了繪制數據以揭示有趣結構的各種不同方法。我們查看了框中的數據分布以及晶須圖和直方圖，然后我們查看了與類屬性相比的屬性分布，最后查看了成對散點圖中屬性之間的關系。