量化分析師的Python日記【第5天：數據處理的瑞士軍刀pandas】 · Python 量化交易教程

# 量化分析師的Python日記【第5天：數據處理的瑞士軍刀pandas】 > 來源：https://uqer.io/community/share/54ffd96ef9f06c276f651aac ## 第一篇：基本數據結構介紹 ## 一、Pandas介紹終于寫到了作者最想介紹，同時也是Python在數據處理方面功能最為強大的擴展模塊了。在處理實際的金融數據時，一個條數據通常包含了多種類型的數據，例如，股票的代碼是字符串，收盤價是浮點型，而成交量是整型等。在C++中可以實現為一個給定結構體作為單元的容器，如向量（`vector`，C++中的特定數據結構）。在Python中，`pandas`包含了高級的數據結構`Series`和`DataFrame`，使得在Python中處理數據變得非常方便、快速和簡單。 `pandas`不同的版本之間存在一些不兼容性，為此，我們需要清楚使用的是哪一個版本的`pandas`。現在我們就查看一下量化實驗室的`pandas`版本： ```py import pandas as pd pd.__version__ '0.14.1' ``` `pandas`主要的兩個數據結構是`Series`和`DataFrame`，隨后兩節將介紹如何由其他類型的數據結構得到這兩種數據結構，或者自行創建這兩種數據結構，我們先導入它們以及相關模塊： ```py import numpy as np from pandas import Series, DataFrame ``` ## 二、Pandas數據結構：`Series` 從一般意義上來講，`Series`可以簡單地被認為是一維的數組。`Series`和一維數組最主要的區別在于`Series`類型具有索引（`index`），可以和另一個編程中常見的數據結構哈希（Hash）聯系起來。 ### 2.1 創建`Series` 創建一個`Series`的基本格式是`s = Series(data, index=index, name=name)`，以下給出幾個創建`Series`的例子。首先我們從數組創建`Series`： ```py a = np.random.randn(5) print "a is an array:" print a s = Series(a) print "s is a Series:" print s a is an array: [-1.24962807 -0.85316907 0.13032511 -0.19088881 0.40475505] s is a Series: 0 -1.249628 1 -0.853169 2 0.130325 3 -0.190889 4 0.404755 dtype: float64 ``` 可以在創建`Series`時添加`index`，并可使用`Series.index`查看具體的`index`。需要注意的一點是，當從數組創建`Series`時，若指定`index`，那么`index`長度要和`data`的長度一致： ```py s = Series(np.random.randn(5), index=['a', 'b', 'c', 'd', 'e']) print s s.index a 0.509906 b -0.764549 c 0.919338 d -0.084712 e 1.896407 dtype: float64 Index([u'a', u'b', u'c', u'd', u'e'], dtype='object') ``` 創建`Series`的另一個可選項是`name`，可指定`Series`的名稱，可用`Series.name`訪問。在隨后的`DataFrame`中，每一列的列名在該列被單獨取出來時就成了`Series`的名稱： ```py s = Series(np.random.randn(5), index=['a', 'b', 'c', 'd', 'e'], name='my_series') print s print s.name a -1.898245 b 0.172835 c 0.779262 d 0.289468 e -0.947995 Name: my_series, dtype: float64 my_series ``` `Series`還可以從字典（`dict`）創建： ```py d = {'a': 0., 'b': 1, 'c': 2} print "d is a dict:" print d s = Series(d) print "s is a Series:" print s d is a dict: {'a': 0.0, 'c': 2, 'b': 1} s is a Series: a 0 b 1 c 2 dtype: float64 ``` 讓我們來看看使用字典創建`Series`時指定`index`的情形（`index`長度不必和字典相同）： ```py Series(d, index=['b', 'c', 'd', 'a']) b 1 c 2 d NaN a 0 dtype: float64 ``` 我們可以觀察到兩點：一是字典創建的`Series`，數據將按`index`的順序重新排列；二是`index`長度可以和字典長度不一致，如果多了的話，`pandas`將自動為多余的`index`分配`NaN`（not a number，`pandas`中數據缺失的標準記號)，當然`index`少的話就截取部分的字典內容。如果數據就是一個單一的變量，如數字4，那么`Series`將重復這個變量： ```py Series(4., index=['a', 'b', 'c', 'd', 'e']) a 4 b 4 c 4 d 4 e 4 dtype: float64 ``` ### 2.2 `Series`數據的訪問訪問`Series`數據可以和數組一樣使用下標，也可以像字典一樣使用索引，還可以使用一些條件過濾： ```py s = Series(np.random.randn(10),index=['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j']) s[0] 1.4328106520571824 ``` ```py s[:2] a 1.432811 b 0.120681 dtype: float64 ``` ```py s[[2,0,4]] c 0.578146 a 1.432811 e 1.327594 dtype: float64 ``` ```py s[['e', 'i']] e 1.327594 i -0.634347 dtype: float64 ``` ```py s[s > 0.5] a 1.432811 c 0.578146 e 1.327594 g 1.850783 dtype: float64 ``` ```py 'e' in s True ``` ## 三、Pandas數據結構：`DataFrame` 在使用`DataFrame`之前，我們說明一下`DataFrame`的特性。`DataFrame`是將數個`Series`按列合并而成的二維數據結構，每一列單獨取出來是一個`Series`，這和SQL數據庫中取出的數據是很類似的。所以，按列對一個`DataFrame`進行處理更為方便，用戶在編程時注意培養按列構建數據的思維。`DataFrame`的優勢在于可以方便地處理不同類型的列，因此，就不要考慮如何對一個全是浮點數的`DataFrame`求逆之類的問題了，處理這種問題還是把數據存成NumPy的`matrix`類型比較便利一些。 ### 3.1 創建`DataFrame` 首先來看如何從字典創建`DataFrame`。`DataFrame`是一個二維的數據結構，是多個`Series`的集合體。我們先創建一個值是`Series`的字典，并轉換為`DataFrame`： ```py d = {'one': Series([1., 2., 3.], index=['a', 'b', 'c']), 'two': Series([1., 2., 3., 4.], index=['a', 'b', 'c', 'd'])} df = DataFrame(d) print df one two a 1 1 b 2 2 c 3 3 d NaN 4 ``` 可以指定所需的行和列，若字典中不含有對應的元素，則置為`NaN`： ```py df = DataFrame(d, index=['r', 'd', 'a'], columns=['two', 'three']) print df two three r NaN NaN d 4 NaN a 1 NaN ``` 可以使用`dataframe.index`和`dataframe.columns`來查看`DataFrame`的行和列，`dataframe.values`則以數組的形式返回`DataFrame`的元素： ```py print "DataFrame index:" print df.index print "DataFrame columns:" print df.columns print "DataFrame values:" print df.values DataFrame index: Index([u'alpha', u'beta', u'gamma', u'delta', u'eta'], dtype='object') DataFrame columns: Index([u'a', u'b', u'c', u'd', u'e'], dtype='object') DataFrame values: [[ 0. 0. 0. 0. 0.] [ 1. 2. 3. 4. 5.] [ 2. 4. 6. 8. 10.] [ 3. 6. 9. 12. 15.] [ 4. 8. 12. 16. 20.]] ``` `DataFrame`也可以從值是數組的字典創建，但是各個數組的長度需要相同： ```py d = {'one': [1., 2., 3., 4.], 'two': [4., 3., 2., 1.]} df = DataFrame(d, index=['a', 'b', 'c', 'd']) print df one two a 1 4 b 2 3 c 3 2 d 4 1 ``` 值非數組時，沒有這一限制，并且缺失值補成`NaN`： ```py d= [{'a': 1.6, 'b': 2}, {'a': 3, 'b': 6, 'c': 9}] df = DataFrame(d) print df a b c 0 1.6 2 NaN 1 3.0 6 9 ``` 在實際處理數據時，有時需要創建一個空的`DataFrame`，可以這么做： ```py df = DataFrame() print df Empty DataFrame Columns: [] Index: [] ``` 另一種創建`DataFrame`的方法十分有用，那就是使用`concat`函數基于`Series`或者`DataFrame`創建一個`DataFrame` ```py a = Series(range(5)) b = Series(np.linspace(4, 20, 5)) df = pd.concat([a, b], axis=1) print df 0 1 0 0 4 1 1 8 2 2 12 3 3 16 4 4 20 ``` 其中的`axis=1`表示按列進行合并，`axis=0`表示按行合并，并且，`Series`都處理成一列，所以這里如果選`axis=0`的話，將得到一個`10×1`的`DataFrame`。下面這個例子展示了如何按行合并`DataFrame`成一個大的`DataFrame`： ```py df = DataFrame() index = ['alpha', 'beta', 'gamma', 'delta', 'eta'] for i in range(5): a = DataFrame([np.linspace(i, 5*i, 5)], index=[index[i]]) df = pd.concat([df, a], axis=0) print df 0 1 2 3 4 alpha 0 0 0 0 0 beta 1 2 3 4 5 gamma 2 4 6 8 10 delta 3 6 9 12 15 eta 4 8 12 16 20 ``` ### 3.2 `DataFrame`數據的訪問首先，再次強調一下`DataFrame`是以列作為操作的基礎的，全部操作都想象成先從`DataFrame`里取一列，再從這個`Series`取元素即可。可以用`datafrae.column_name`選取列，也可以使用`dataframe[]`操作選取列，我們可以馬上發現前一種方法只能選取一列，而后一種方法可以選擇多列。若`DataFrame`沒有列名，`[]`可以使用非負整數，也就是“下標”選取列；若有列名，則必須使用列名選取，另外`datafrae.column_name`在沒有列名的時候是無效的： ```py print df[1] print type(df[1]) df.columns = ['a', 'b', 'c', 'd', 'e'] print df['b'] print type(df['b']) print df.b print type(df.b) print df[['a', 'd']] print type(df[['a', 'd']]) alpha 0 beta 2 gamma 4 delta 6 eta 8 Name: 1, dtype: float64 <class 'pandas.core.series.Series'> alpha 0 beta 2 gamma 4 delta 6 eta 8 Name: b, dtype: float64 <class 'pandas.core.series.Series'> alpha 0 beta 2 gamma 4 delta 6 eta 8 Name: b, dtype: float64 <class 'pandas.core.series.Series'> a d alpha 0 0 beta 1 4 gamma 2 8 delta 3 12 eta 4 16 <class 'pandas.core.frame.DataFrame'> ``` 以上代碼使用了`dataframe.columns`為`DataFrame`賦列名，并且我們看到單獨取一列出來，其數據結構顯示的是`Series`，取兩列及兩列以上的結果仍然是`DataFrame`。訪問特定的元素可以如`Series`一樣使用下標或者是索引: ```py print df['b'][2] print df['b']['gamma'] 4.0 4.0 ``` 若需要選取行，可以使用`dataframe.iloc`按下標選取，或者使用`dataframe.loc`按索引選取： ```py print df.iloc[1] print df.loc['beta'] a 1 b 2 c 3 d 4 e 5 Name: beta, dtype: float64 a 1 b 2 c 3 d 4 e 5 Name: beta, dtype: float64 ``` 選取行還可以使用切片的方式或者是布爾類型的向量： ```py print "Selecting by slices:" print df[1:3] bool_vec = [True, False, True, True, False] print "Selecting by boolean vector:" print df[bool_vec] Selecting by slices: a b c d e beta 1 2 3 4 5 gamma 2 4 6 8 10 Selecting by boolean vector: a b c d e alpha 0 0 0 0 0 gamma 2 4 6 8 10 delta 3 6 9 12 15 ``` 行列組合起來選取數據： ```py print df[['b', 'd']].iloc[[1, 3]] print df.iloc[[1, 3]][['b', 'd']] print df[['b', 'd']].loc[['beta', 'delta']] print df.loc[['beta', 'delta']][['b', 'd']] b d beta 2 4 delta 6 12 b d beta 2 4 delta 6 12 b d beta 2 4 delta 6 12 b d beta 2 4 delta 6 12 ``` 如果不是需要訪問特定行列，而只是某個特殊位置的元素的話，`dataframe.at`和`dataframe.iat`是最快的方式，它們分別用于使用索引和下標進行訪問： ```py print df.iat[2, 3] print df.at['gamma', 'd'] 8.0 8.0 ``` `dataframe.ix`可以混合使用索引和下標進行訪問，唯一需要注意的地方是行列內部需要一致，不可以同時使用索引和標簽訪問行或者列，不然的話，將會得到意外的結果： ```py print df.ix['gamma', 4] print df.ix[['delta', 'gamma'], [1, 4]] print df.ix[[1, 2], ['b', 'e']] print "Unwanted result:" print df.ix[['beta', 2], ['b', 'e']] print df.ix[[1, 2], ['b', 4]] 10.0 b e delta 6 15 gamma 4 10 b e beta 2 5 gamma 4 10 Unwanted result: b e beta 2 5 2 NaN NaN b 4 beta 2 NaN gamma 4 NaN ```