讀寫文件是最常見的IO操作。Python內置了讀寫文件的函數,用法和C是兼容的。
讀寫文件前,我們先必須了解一下,在磁盤上讀寫文件的功能都是由操作系統提供的,現代操作系統不允許普通的程序直接操作磁盤,所以,讀寫文件就是請求操作系統打開一個文件對象(通常稱為文件描述符),然后,通過操作系統提供的接口從這個文件對象中讀取數據(讀文件),或者把數據寫入這個文件對象(寫文件)。
### 讀文件
要以讀文件的模式打開一個文件對象,使用Python內置的`open()`函數,傳入文件名和標示符:
~~~
>>> f = open('/Users/michael/test.txt', 'r')
~~~
標示符'r'表示讀,這樣,我們就成功地打開了一個文件。
如果文件不存在,`open()`函數就會拋出一個`IOError`的錯誤,并且給出錯誤碼和詳細的信息告訴你文件不存在:
~~~
>>> f=open('/Users/michael/notfound.txt', 'r')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
FileNotFoundError: [Errno 2] No such file or directory: '/Users/michael/notfound.txt'
~~~
如果文件打開成功,接下來,調用`read()`方法可以一次讀取文件的全部內容,Python把內容讀到內存,用一個`str`對象表示:
~~~
>>> f.read()
'Hello, world!'
~~~
最后一步是調用`close()`方法關閉文件。文件使用完畢后必須關閉,因為文件對象會占用操作系統的資源,并且操作系統同一時間能打開的文件數量也是有限的:
~~~
>>> f.close()
~~~
由于文件讀寫時都有可能產生`IOError`,一旦出錯,后面的`f.close()`就不會調用。所以,為了保證無論是否出錯都能正確地關閉文件,我們可以使用`try ... finally`來實現:
~~~
try:
f = open('/path/to/file', 'r')
print(f.read())
finally:
if f:
f.close()
~~~
但是每次都這么寫實在太繁瑣,所以,Python引入了`with`語句來自動幫我們調用`close()`方法:
~~~
with open('/path/to/file', 'r') as f:
print(f.read())
~~~
這和前面的`try ... finally`是一樣的,但是代碼更佳簡潔,并且不必調用`f.close()`方法。
調用`read()`會一次性讀取文件的全部內容,如果文件有10G,內存就爆了,所以,要保險起見,可以反復調用`read(size)`方法,每次最多讀取size個字節的內容。另外,調用`readline()`可以每次讀取一行內容,調用`readlines()`一次讀取所有內容并按行返回`list`。因此,要根據需要決定怎么調用。
如果文件很小,`read()`一次性讀取最方便;如果不能確定文件大小,反復調用`read(size)`比較保險;如果是配置文件,調用`readlines()`最方便:
~~~
for line in f.readlines():
print(line.strip()) # 把末尾的'\n'刪掉
~~~
### file-like Object
像`open()`函數返回的這種有個`read()`方法的對象,在Python中統稱為file-like Object。除了file外,還可以是內存的字節流,網絡流,自定義流等等。file-like Object不要求從特定類繼承,只要寫個`read()`方法就行。
`StringIO`就是在內存中創建的file-like Object,常用作臨時緩沖。
### 二進制文件
前面講的默認都是讀取文本文件,并且是UTF-8編碼的文本文件。要讀取二進制文件,比如圖片、視頻等等,用`'rb'`模式打開文件即可:
~~~
>>> f = open('/Users/michael/test.jpg', 'rb')
>>> f.read()
b'\xff\xd8\xff\xe1\x00\x18Exif\x00\x00...' # 十六進制表示的字節
~~~
### 字符編碼
要讀取非UTF-8編碼的文本文件,需要給`open()`函數傳入`encoding`參數,例如,讀取GBK編碼的文件:
~~~
>>> f = open('/Users/michael/gbk.txt', 'r', encoding='gbk')
>>> f.read()
'測試'
~~~
遇到有些編碼不規范的文件,你可能會遇到`UnicodeDecodeError`,因為在文本文件中可能夾雜了一些非法編碼的字符。遇到這種情況,`open()`函數還接收一個`errors`參數,表示如果遇到編碼錯誤后如何處理。最簡單的方式是直接忽略:
~~~
>>> f = open('/Users/michael/gbk.txt', 'r', encoding='gbk', errors='ignore')
~~~
### 寫文件
寫文件和讀文件是一樣的,唯一區別是調用`open()`函數時,傳入標識符`'w'`或者`'wb'`表示寫文本文件或寫二進制文件:
~~~
>>> f = open('/Users/michael/test.txt', 'w')
>>> f.write('Hello, world!')
>>> f.close()
~~~
你可以反復調用`write()`來寫入文件,但是務必要調用`f.close()`來關閉文件。當我們寫文件時,操作系統往往不會立刻把數據寫入磁盤,而是放到內存緩存起來,空閑的時候再慢慢寫入。只有調用`close()`方法時,操作系統才保證把沒有寫入的數據全部寫入磁盤。忘記調用`close()`的后果是數據可能只寫了一部分到磁盤,剩下的丟失了。所以,還是用`with`語句來得保險:
~~~
with open('/Users/michael/test.txt', 'w') as f:
f.write('Hello, world!')
~~~
要寫入特定編碼的文本文件,請給`open()`函數傳入`encoding`參數,將字符串自動轉換成指定編碼。
### 小結
在Python中,文件讀寫是通過`open()`函數打開的文件對象完成的。使用`with`語句操作文件IO是個好習慣。
### 參考源碼
[with_file.py](https://github.com/michaelliao/learn-python3/tree/master/samples/io/with_file.py)
- 關于
- Python簡介
- 安裝Python
- Python解釋器
- 第一個Python程序
- 使用文本編輯器
- Python代碼運行助手
- 輸入和輸出
- Python基礎
- 數據類型和變量
- 字符串和編碼
- 使用list和tuple
- 條件判斷
- 循環
- 使用dict和set
- 函數
- 調用函數
- 定義函數
- 函數的參數
- 遞歸函數
- 高級特性
- 切片
- 迭代
- 列表生成式
- 生成器
- 迭代器
- 函數式編程
- 高階函數
- 返回函數
- 匿名函數
- 裝飾器
- 偏函數
- 模塊
- 使用模塊
- 安裝第三方模塊
- 面向對象編程
- 類和實例
- 訪問限制
- 繼承和多態
- 獲取對象信息
- 實例屬性和類屬性
- 面向對象高級編程
- 使用slots
- 使用@property
- 多重繼承
- 定制類
- 使用枚舉類
- 使用元類
- 錯誤、調試和測試
- 錯誤處理
- 調試
- 單元測試
- 文檔測試
- IO編程
- 文件讀寫
- StringIO和BytesIO
- 操作文件和目錄
- 序列化
- 進程和線程
- 多進程
- 多線程
- ThreadLocal
- 進程 vs. 線程
- 分布式進程
- 正則表達式
- 常用內建模塊
- datetime
- collections
- base64
- struct
- hashlib
- itertools
- XML
- HTMLParser
- urllib
- 常用第三方模塊
- PIL
- virtualenv
- 圖形界面
- 網絡編程
- TCP/IP簡介
- TCP編程
- UDP編程
- 電子郵件
- SMTP發送郵件
- POP3收取郵件
- 訪問數據庫
- 使用SQLite
- 使用MySQL
- 使用SQLAlchemy
- Web開發
- HTTP協議簡介
- HTML簡介
- WSGI接口
- 使用Web框架
- 使用模板
- 異步IO
- 協程
- asyncio
- aiohttp
- 實戰
- Day 1 - 搭建開發環境
- Day 2 - 編寫Web App骨架
- Day 3 - 編寫ORM
- Day 4 - 編寫Model
- Day 5 - 編寫Web框架
- Day 6 - 編寫配置文件
- Day 7 - 編寫MVC
- Day 8 - 構建前端
- Day 9 - 編寫API
- Day 10 - 用戶注冊和登錄
- Day 11 - 編寫日志創建頁
- Day 12 - 編寫日志列表頁
- Day 13 - 提升開發效率
- Day 14 - 完成Web App
- Day 15 - 部署Web App
- Day 16 - 編寫移動App
- FAQ
- 期末總結