6.11 讀寫二進制數組數據 · Python3 CookBook中文版

## 問題你想讀寫一個二進制數組的結構化數據到Python元組中。 ## 解決方案可以使用 `struct` 模塊處理二進制數據。下面是一段示例代碼將一個Python元組列表寫入一個二進制文件，并使用 `struct` 將每個元組編碼為一個結構體。 from struct import Struct def write_records(records, format, f): ''' Write a sequence of tuples to a binary file of structures. ''' record_struct = Struct(format) for r in records: f.write(record_struct.pack(*r)) # Example if __name__ == '__main__': records = [ (1, 2.3, 4.5), (6, 7.8, 9.0), (12, 13.4, 56.7) ] with open('data.b', 'wb') as f: write_records(records, '<idd', f) 有很多種方法來讀取這個文件并返回一個元組列表。首先，如果你打算以塊的形式增量讀取文件，你可以這樣做： from struct import Struct def read_records(format, f): record_struct = Struct(format) chunks = iter(lambda: f.read(record_struct.size), b'') return (record_struct.unpack(chunk) for chunk in chunks) # Example if __name__ == '__main__': with open('data.b','rb') as f: for rec in read_records('<idd', f): # Process rec ... 如果你想將整個文件一次性讀取到一個字節字符串中，然后在分片解析。那么你可以這樣做： from struct import Struct def unpack_records(format, data): record_struct = Struct(format) return (record_struct.unpack_from(data, offset) for offset in range(0, len(data), record_struct.size)) # Example if __name__ == '__main__': with open('data.b', 'rb') as f: data = f.read() for rec in unpack_records('<idd', data): # Process rec ... 兩種情況下的結果都是一個可返回用來創建該文件的原始元組的可迭代對象。 ## 討論對于需要編碼和解碼二進制數據的程序而言，通常會使用 `struct` 模塊。為了聲明一個新的結構體，只需要像這樣創建一個 `Struct` 實例即可： # Little endian 32-bit integer, two double precision floats record_struct = Struct('<idd') 結構體通常會使用一些結構碼值i, d, f等 [參考 [Python文檔](https://docs.python.org/3/library/struct.html) ]。這些代碼分別代表某個特定的二進制數據類型如32位整數，64位浮點數，32位浮點數等。第一個字符<指定了字節順序。在這個例子中，它表示”低位在前”。更改這個字符為>表示高位在前，或者是!表示網絡字節順序。產生的 `Struct` 實例有很多屬性和方法用來操作相應類型的結構。`size` 屬性包含了結構的字節數，這在I/O操作時非常有用。`pack()` 和 `unpack()` 方法被用來打包和解包數據。比如： >>> from struct import Struct >>> record_struct = Struct('<idd') >>> record_struct.size 20 >>> record_struct.pack(1, 2.0, 3.0) b'\x01\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00@\x00\x00\x00\x00\x00\x00\x08@' >>> record_struct.unpack(_) (1, 2.0, 3.0) >>> 有時候你還會看到 `pack()` 和 `unpack()` 操作以模塊級別函數被調用，類似下面這樣： >>> import struct >>> struct.pack('<idd', 1, 2.0, 3.0) b'\x01\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00@\x00\x00\x00\x00\x00\x00\x08@' >>> struct.unpack('<idd', _) (1, 2.0, 3.0) >>> 這樣可以工作，但是感覺沒有實例方法那么優雅，特別是在你代碼中同樣的結構出現在多個地方的時候。通過創建一個 `Struct` 實例，格式代碼只會指定一次并且所有的操作被集中處理。這樣一來代碼維護就變得更加簡單了(因為你只需要改變一處代碼即可)。讀取二進制結構的代碼要用到一些非常有趣而優美的編程技巧。在函數　`read_records` 中，`iter()` 被用來創建一個返回固定大小數據塊的迭代器，參考5.8小節。這個迭代器會不斷的調用一個用戶提供的可調用對象(比如 `lambda: f.read(record_struct.size)` )，直到它返回一個特殊的值(如b'‘)，這時候迭代停止。例如： >>> f = open('data.b', 'rb') >>> chunks = iter(lambda: f.read(20), b'') >>> chunks <callable_iterator object at 0x10069e6d0> >>> for chk in chunks: ... print(chk) ... b'\x01\x00\x00\x00ffffff\x02@\x00\x00\x00\x00\x00\x00\x12@' b'\x06\x00\x00\x00333333\x1f@\x00\x00\x00\x00\x00\x00"@' b'\x0c\x00\x00\x00\xcd\xcc\xcc\xcc\xcc\xcc*@\x9a\x99\x99\x99\x99YL@' >>> 如你所見，創建一個可迭代對象的一個原因是它能允許使用一個生成器推導來創建記錄。如果你不適用這種技術，那么代碼可能會像下面這樣： def read_records(format, f): record_struct = Struct(format) while True: chk = f.read(record_struct.size) if chk == b'': break yield record_struct.unpack(chk) 在函數 `unpack_records()` 中使用了另外一種方法 `unpack_from()` 。`unpack_from()` 對于從一個大型二進制數組中提取二進制數據非常有用，因為它不會產生任何的臨時對象或者進行內存復制操作。你只需要給它一個字節字符串(或數組)和一個字節偏移量，它會從那個位置開始直接解包數據。如果你使用 `unpack()` 來代替 `unpack_from()` ，你需要修改代碼來構造大量的小的切片以及進行偏移量的計算。比如： def unpack_records(format, data): record_struct = Struct(format) return (record_struct.unpack(data[offset:offset + record_struct.size]) for offset in range(0, len(data), record_struct.size)) 這種方案除了代碼看上去很復雜外，還得做很多額外的工作，因為它執行了大量的偏移量計算，復制數據以及構造小的切片對象。如果你準備從讀取到的一個大型字節字符串中解包大量的結構體的話，`unpack_from()` 會表現的更出色。在解包的時候，`collections` 模塊中的命名元組對象或許是你想要用到的。它可以讓你給返回元組設置屬性名稱。例如： from collections import namedtuple Record = namedtuple('Record', ['kind','x','y']) with open('data.p', 'rb') as f: records = (Record(*r) for r in read_records('<idd', f)) for r in records: print(r.kind, r.x, r.y) 如果你的程序需要處理大量的二進制數據，你最好使用 `numpy` 模塊。例如，你可以將一個二進制數據讀取到一個結構化數組中而不是一個元組列表中。就像下面這樣： >>> import numpy as np >>> f = open('data.b', 'rb') >>> records = np.fromfile(f, dtype='<i,<d,<d') >>> records array([(1, 2.3, 4.5), (6, 7.8, 9.0), (12, 13.4, 56.7)], dtype=[('f0', '<i4'), ('f1', '<f8'), ('f2', '<f8')]) >>> records[0] (1, 2.3, 4.5) >>> records[1] (6, 7.8, 9.0) >>> 最后提一點，如果你需要從已知的文件格式(如圖片格式，圖形文件，HDF5等)中讀取二進制數據時，先檢查看看Python是不是已經提供了現存的模塊。因為不到萬不得已沒有必要去重復造輪子。