<ruby id="bdb3f"></ruby>

    <p id="bdb3f"><cite id="bdb3f"></cite></p>

      <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
        <p id="bdb3f"><cite id="bdb3f"></cite></p>

          <pre id="bdb3f"></pre>
          <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

          <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
          <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

          <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                <ruby id="bdb3f"></ruby>

                ThinkChat2.0新版上線,更智能更精彩,支持會話、畫圖、視頻、閱讀、搜索等,送10W Token,即刻開啟你的AI之旅 廣告
                # 使用 Pandas 快速和骯臟的數據分析 > 原文: [https://machinelearningmastery.com/quick-and-dirty-data-analysis-with-pandas/](https://machinelearningmastery.com/quick-and-dirty-data-analysis-with-pandas/) 在為建模選擇和準備數據之前,您需要了解您必須從哪開始。 如果您正在使用 Python 堆棧進行機器學習,那么可以用來更好地理解數據的庫是 Pandas。 在這篇文章中,您將發現一些快速而骯臟的 Pandas 秘籍,以提高您對數據結構,分布和關系的理解。 * **更新 March / 2018** :添加了備用鏈接以下載數據集,因為原始圖像已被刪除。 ## 數據分析 [數據分析](http://machinelearningmastery.com/quick-and-dirty-data-analysis-for-your-machine-learning-problem/ "Quick and Dirty Data Analysis for your Machine Learning Problem")是關于詢問和回答有關您數據的問題。 作為機器學習從業者,您可能不熟悉您所在的領域。擁有主題專家是理想的,但這并不總是可行的。 當您使用標準機器學習數據集,咨詢或處理競爭數據集學習應用機器學習時,這些問題也適用。 您需要激發有關您可以追求的數據的問題。您需要更好地了解您擁有的數據。您可以通過匯總和可視化數據來實現。 ### 熊貓 [Pandas Python 庫](http://machinelearningmastery.com/prepare-data-for-machine-learning-in-python-with-pandas/ "Prepare Data for Machine Learning in Python with Pandas")專為快速數據分析和操作而構建。如果您在其他平臺(如 R)上完成此任務,那么它既簡單又熟悉。 Pandas 的優勢似乎在數據處理方面,但它帶有非常方便易用的數據分析工具,為 [statsmodels](http://statsmodels.sourceforge.net/) 中的標準統計方法和 [matplotlib 中的圖形方法提供包裝器](http://matplotlib.org/)。 ### 糖尿病的發病 我們需要一個小數據集,您可以使用它來探索使用 Pandas 的不同數據分析秘籍。 UIC 機器學習庫提供了大量不同的標準機器學習數據集,您可以使用它們來學習和實踐應用的機器學習。我最喜歡的是[皮馬印第安人糖尿病數據集](http://archive.ics.uci.edu/ml/datasets/Pima+Indians+Diabetes)。 該數據集使用其醫療記錄中的詳細信息描述了女性[皮馬印第安人](http://en.wikipedia.org/wiki/Pima_people)中糖尿病發病的發生或缺乏。 (更新:[從這里下載](https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv))。下載數據集并將其保存到當前工作目錄中,名稱為 _pima-indians-diabetes.data_ 。 ## 總結數據 我們將從了解我們擁有的數據開始,通過查看它的結構。 ### 加載數據 首先將 CSV 數據從文件作為數據幀加載到內存中。我們知道所提供數據的名稱,因此我們將在從文件加載數據時設置這些名稱。 Python ``` import pandas as pd names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class'] data = pd.read_csv('pima-indians-diabetes.data', names=names) ``` 了解有關 [Pandas IO 功能](http://pandas.pydata.org/pandas-docs/stable/io.html)和 [read_csv 功能](http://pandas.pydata.org/pandas-docs/stable/io.html#io-read-csv-table)的更多信息。 ### 描述數據 我們現在可以看一下數據的形狀。 我們可以通過直接打印數據框來查看前 60 行數據。 Python ``` print(data) ``` 我們可以看到所有數據都是數字的,最后的類值是我們想要做出預測的因變量。 在數據轉儲結束時,我們可以看到數據框本身的描述為 768 行和 9 列。所以現在我們已經了解了數據的形狀。 接下來,我們可以通過查看摘要統計信息來了解每個屬性的分布情況。 Python ``` print(data.describe()) ``` 這將顯示數據框中每個屬性的詳細分布信息表。具體來說:計數,平均值,標準差,最小值,最大值,第 25 個,第 50 個(中位數),第 75 個百分點。 我們可以查看這些統計數據并開始注意有關我們問題的有趣事實。如平均懷孕次數為 3.8,最小年齡為 21 歲,有些人的體重指數為 0,這是不可能的,并且有跡象表明某些屬性值應標記為缺失。 了解有關 DataFrame 上[描述函數](http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.describe.html)的更多信息。 ## 可視化數據 圖表更能說明屬性的分布和關系。 然而,重要的是要花時間并首先審查統計數據。每當您以不同的方式查看數據時,您就會打開自己,注意到不同的方面,并可能對問題有不同的見解。 Pandas 使用 matplotlib 創建圖形并提供方便的功能。您可以[詳細了解 Pandas 中的數據可視化。](http://pandas.pydata.org/pandas-docs/stable/visualization.html) ### 特征分布 要審查的第一個簡單屬性是每個屬性的分布。 我們可以通過查看 box 和 whisker 圖來開始并查看每個屬性的傳播。 Python ``` import matplotlib.pyplot as plt pd.options.display.mpl_style = 'default' data.boxplot() ``` 此片段將繪制圖形的樣式(通過 matplotlib)更改為默認樣式,該樣式看起來更好。 [![Attribute box and whisker plots](https://img.kancloud.cn/87/97/8797481fae551644f012ff16b67121cf_1024x709.jpg)](https://3qeqpr26caki16dnhd19sv6by6v-wpengine.netdna-ssl.com/wp-content/uploads/2014/06/boxplots.png) 屬性框和胡須圖 我們可以看到 test 屬性有很多異常值。我們還可以看到 plas 屬性似乎具有相對均勻的正態分布。我們還可以通過將值離散化為桶來查看每個屬性的分布,并將每個桶中的頻率作為直方圖進行檢查。 Python ``` data.hist() ``` 這使您可以記錄屬性分布的有趣屬性,例如 pres 和 skin 等屬性的可能正態分布。 [![Attribute Histogram Matrix](https://img.kancloud.cn/62/07/6207c27733676742cb3a280603f331a7_1024x685.jpg)](https://3qeqpr26caki16dnhd19sv6by6v-wpengine.netdna-ssl.com/wp-content/uploads/2014/06/histograms.png) 屬性直方圖矩陣 您可以在 DataFrame 上查看有關 [boxplot](http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.boxplot.html#pandas.DataFrame.boxplot) 和 [hist 函數](http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.hist.html#pandas.DataFrame.hist)的更多詳細信息 ### 特征級關系 探索的下一個重要關系是 class 屬性的每個屬性。 一種方法是可視化每個類的數據實例的屬性分布以及注釋和差異。您可以為每個屬性生成直方圖矩陣,為每個類值生成一個直方圖矩陣,如下所示: Python ``` data.groupby('class').hist() ``` 數據按類屬性(兩組)分組,然后為每個組中的屬性創建直方圖矩陣。結果是兩個圖像。 [![Attribute Histogram Matrix for Class 0](https://img.kancloud.cn/a1/33/a133aec017eb2926036bd9f72a85bbdc_1024x793.jpg)](https://3qeqpr26caki16dnhd19sv6by6v-wpengine.netdna-ssl.com/wp-content/uploads/2014/06/histogram_class0.png) 0 類的屬性直方圖矩陣 [![Attribute Histogram Matrix for Class 1](https://img.kancloud.cn/34/41/3441bbfc7a791df8246213088de2bc63_1024x788.jpg)](https://3qeqpr26caki16dnhd19sv6by6v-wpengine.netdna-ssl.com/wp-content/uploads/2014/06/histograpm_class1.png) 1 類屬性直方圖矩陣 這有助于指出類之間的分布差異,如 plas 屬性的分布。 您可以更好地對同一圖表中每個類的屬性值進行對比 ``` data.groupby('class').plas.hist(alpha=0.4) ``` 這將按類別對數據進行分組,僅繪制等離子體的直方圖,其中紅色的類值為 0,藍色的類值為 1。你可以看到一個類似形狀的正態分布,但是一個轉變。此屬性可能有助于區分類。 [![Overlapping Attribute Histograms for Each Class](https://img.kancloud.cn/c8/95/c8950afbe67d43300a357b8a70f820d9_1024x838.jpg)](https://3qeqpr26caki16dnhd19sv6by6v-wpengine.netdna-ssl.com/wp-content/uploads/2014/06/histogram_overlapping.png) 每個類的重疊屬性直方圖 您可以在 DataFrame 上閱讀有關 [groupby 函數](http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.groupby.html#pandas.DataFrame.groupby)的更多信息。 ### 特征 - 特征關系 探索的最后一個重要關系是屬性之間的關系。 我們可以通過查看每對屬性的交互分布來查看屬性之間的關系。 Python ``` from pandas.plotting import scatter_matrix scatter_matrix(data, alpha=0.2, figsize=(6, 6), diagonal='kde') ``` 這使用構建函數來創建所有屬性與所有屬性的散點圖矩陣。每個屬性相對于自身繪制的對角線顯示了屬性的核密度估計。 [![Attribute Scatter Plot Matrix](https://img.kancloud.cn/4e/a1/4ea17b108568373b4ea554a0ad6b3414_1024x861.jpg)](https://3qeqpr26caki16dnhd19sv6by6v-wpengine.netdna-ssl.com/wp-content/uploads/2014/06/scatterplots.png) 屬性散點圖矩陣 這是一個強大的情節,可以從中獲得關于數據的大量靈感。例如,我們可以看到年齡和 preg 之間可能的相關性以及皮膚和質量之間的另一種可能的關系。 ## 摘要 我們在這篇文章中介紹了很多內容。 我們開始研究快速和臟的單行程序,以便以 CSV 格式加載我們的數據并使用匯總統計信息對其進行描述。 接下來,我們研究了繪制數據以揭示有趣結構的各種不同方法。我們查看了框中的數據分布以及晶須圖和直方圖,然后我們查看了與類屬性相比的屬性分布,最后查看了成對散點圖中屬性之間的關系。
                  <ruby id="bdb3f"></ruby>

                  <p id="bdb3f"><cite id="bdb3f"></cite></p>

                    <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
                      <p id="bdb3f"><cite id="bdb3f"></cite></p>

                        <pre id="bdb3f"></pre>
                        <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

                        <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
                        <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

                        <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                              <ruby id="bdb3f"></ruby>

                              哎呀哎呀视频在线观看