3.1.2 處理異常 · python3爬蟲筆記

# 3.1.2 處理異常 ## 1.說明 Urllib 的 error 模塊定義了由 request 模塊產生的異常。如果出現了問題，request 模塊便會拋出 error 模塊中定義的異常 ## 2.URLError URLError 類來自 Urllib 庫的 error 模塊，它繼承自 OSError 類，是 error 異常模塊的基類，由 request 模塊生的異常都可以通過捕獲這個類來處理。 * 具有一個屬性 reason，即返回錯誤的原因實例: ```text from urllib import request,error try: response = request.urlopen('http://www.runoob.com/python1.html') except error.URLError as e: print(e.reason) ``` 訪問一個不存在的網頁，會報錯，但是利用try/except捕獲到了URLError這個異常運行結果: ```text Not Found ``` 可以利用try/except拋出URLError異常從而避免程序異常終止，并同時得到有效的處理 ## 3.HTTPError 專門用來處理 HTTP 請求錯誤，比如認證請求失敗等等有三個屬性: * code，返回 HTTP Status Code，即狀態碼，比如 404 網頁不存在，500 服務器內部錯誤等等。 * reason，同父類一樣，返回錯誤的原因。 * headers，返回 Request Headers。實例: ```text from urllib import request,error try: response = request.urlopen('http://www.runoob.com/python1.html') except error.HTTPError as e: # 報錯原因、錯誤狀態碼、headers詳細信息 print(e.reason,e.code,e.headers,sep='\n') ``` 運行結果: ```text Not Found 404 Server: Tengine Content-Type: text/html; charset=UTF-8 Transfer-Encoding: chunked Connection: close Vary: Accept-Encoding Date: Mon, 30 Jul 2018 07:25:54 GMT Vary: Accept-Encoding X-Powered-By: HHVM/3.11.1 Vary: Accept-Encoding Cache-Control: no-cache, must-revalidate, max-age=0 Expires: Wed, 11 Jan 1984 05:00:00 GMT Link: <http://www.runoob.com/wp-json/>; rel="https://api.w.org/" Via: cache24.l2et15-2[90,404-1280,M], cache14.l2et15-2[91,0], cache5.cn246[120,404-1280,M], cache1.cn246[122,0] X-Swift-Error: orig response 4XX error X-Cache: MISS TCP_MISS dirn:-2:-2 mlen:-1 X-Swift-SaveTime: Mon, 30 Jul 2018 07:25:54 GMT X-Swift-CacheTime: 0 X-Swift-Error: orig response 4XX error Timing-Allow-Origin: * EagleId: 71cf1e1515329355547806295e ``` 由于URLError 是 HTTPError 的父類，所以我們可以先選擇捕獲子類的錯誤，再去捕獲父類的錯誤，所以上述代碼更好的寫法如下： ```text from urllib import request, error try: response = request.urlopen('http://www.runoob.com/python1.html') except error.HTTPError as e: print(e.reason, e.code, e.headers, sep='\n') except error.URLError as e: print(e.reason) else: print('Request Successfully') ``` 這樣我們就可以做到先捕獲 HTTPError，獲取它的錯誤狀態碼、原因、Headers 等詳細信息。如果非 HTTPError，再捕獲 URLError 異常，輸出錯誤原因。最后用 else 來處理正常的邏輯，這是一個較好的異常處理寫法。有時候 reason 屬性返回的不一定是字符串，也可能是一個對象實例： ```text import socket import urllib.request import urllib.error try: response = urllib.request.urlopen('https://www.baidu.com', timeout=0.01) # 設置超時時間來強制拋出 timeout 異常 except urllib.error.URLError as e: print(type(e.reason)) # instance() 方法來判斷類型 if isinstance(e.reason, socket.timeout): print('TIME OUT') ``` 運行結果: ```text <class 'socket.timeout'> TIME OUT ```