## 問題 你想使用盡可能少的內存從一個超大的XML文檔中提取數據。 ## 解決方案 任何時候只要你遇到增量式的數據處理時，第一時間就應該想到迭代器和生成器。下面是一個很簡單的函數，只使用很少的內存就能增量式的處理一個大型XML文件： from xml.etree.ElementTree import iterparse def parse_and_remove(filename, path): path_parts = path.split('/') doc = iterparse(filename, ('start', 'end')) # Skip the root element next(doc) tag_stack = [] elem_stack = [] for event, elem in doc: if event == 'start': tag_stack.append(elem.tag) elem_stack.append(elem) elif event == 'end': if tag_stack == path_parts: yield elem elem_stack[-2].remove(elem) try: tag_stack.pop() elem_stack.pop() except IndexError: pass 為了測試這個函數，你需要先有一個大型的XML文件。通常你可以在政府網站或公共數據網站上找到這樣的文件。例如，你可以下載XML格式的芝加哥城市道路坑洼數據庫。在寫這本書的時候，下載文件已經包含超過100,000行數據，編碼格式類似于下面這樣： 假設你想寫一個腳本來按照坑洼報告數量排列郵編號碼。你可以像這樣做： from xml.etree.ElementTree import parse from collections import Counter potholes_by_zip = Counter() doc = parse('potholes.xml') for pothole in doc.iterfind('row/row'): potholes_by_zip[pothole.findtext('zip')] += 1 for zipcode, num in potholes_by_zip.most_common(): print(zipcode, num) 這個腳本唯一的問題是它會先將整個XML文件加載到內存中然后解析。在我的機器上，為了運行這個程序需要用到450MB左右的內存空間。如果使用如下代碼，程序只需要修改一點點： from collections import Counter potholes_by_zip = Counter() data = parse_and_remove('potholes.xml', 'row/row') for pothole in data: potholes_by_zip[pothole.findtext('zip')] += 1 for zipcode, num in potholes_by_zip.most_common(): print(zipcode, num) 結果是：這個版本的代碼運行時只需要7MB的內存–大大節約了內存資源。 ## 討論 這一節的技術會依賴 `ElementTree` 模塊中的兩個核心功能。第一，`iterparse()` 方法允許對XML文檔進行增量操作。使用時，你需要提供文件名和一個包含下面一種或多種類型的事件列表：`start` , `end`, `start-ns` 和 `end-ns` 。由 `iterparse()` 創建的迭代器會產生形如 `(event, elem)` 的元組，其中 `event` 是上述事件列表中的某一個，而 `elem` 是相應的XML元素。例如： >>> data = iterparse('potholes.xml',('start','end')) >>> next(data) ('start', <Element 'response' at 0x100771d60>) >>> next(data) ('start', <Element 'row' at 0x100771e68>) >>> next(data) ('start', <Element 'row' at 0x100771fc8>) >>> next(data) ('start', <Element 'creation_date' at 0x100771f18>) >>> next(data) ('end', <Element 'creation_date' at 0x100771f18>) >>> next(data) ('start', <Element 'status' at 0x1006a7f18>) >>> next(data) ('end', <Element 'status' at 0x1006a7f18>) >>> `start` 事件在某個元素第一次被創建并且還沒有被插入其他數據(如子元素)時被創建。而 `end` 事件在某個元素已經完成時被創建。盡管沒有在例子中演示，`start-ns` 和 `end-ns` 事件被用來處理XML文檔命名空間的聲明。 這本節例子中，`start` 和 `end` 事件被用來管理元素和標簽棧。棧代表了文檔被解析時的層次結構，還被用來判斷某個元素是否匹配傳給函數 `parse_and_remove()` 的路徑。如果匹配，就利用 `yield` 語句向調用者返回這個元素。 在 `yield` 之后的下面這個語句才是使得程序占用極少內存的ElementTree的核心特性： elem_stack[-2].remove(elem) 這個語句使得之前由 `yield` 產生的元素從它的父節點中刪除掉。假設已經沒有其它的地方引用這個元素了，那么這個元素就被銷毀并回收內存。 對節點的迭代式解析和刪除的最終效果就是一個在文檔上高效的增量式清掃過程。文檔樹結構從始自終沒被完整的創建過。盡管如此，還是能通過上述簡單的方式來處理這個XML數據。 這種方案的主要缺陷就是它的運行性能了。我自己測試的結果是，讀取整個文檔到內存中的版本的運行速度差不多是增量式處理版本的兩倍快。但是它卻使用了超過后者60倍的內存。因此，如果你更關心內存使用量的話，那么增量式的版本完勝。