大家好,本節在這里主要說的是URLError還有HTTPError,以及對它們的一些處理。
## 1.URLError
首先解釋下URLError可能產生的原因:
* 網絡無連接,即本機無法上網
* 連接不到特定的服務器
* 服務器不存在
在代碼中,我們需要用try-except語句來包圍并捕獲相應的異常。下面是一個例子,先感受下它的風騷
~~~
import urllib2
requset = urllib2.Request('http://www.xxxxx.com')
try:
????urllib2.urlopen(requset)
except urllib2.URLError, e:
????print e.reason
~~~
我們利用了 urlopen方法訪問了一個不存在的網址,運行結果如下:
~~~
[Errno 11004] getaddrinfo failed
~~~
它說明了錯誤代號是11004,錯誤原因是 getaddrinfo failed
2.HTTPError
HTTPError是URLError的子類,在你利用urlopen方法發出一個請求時,服務器上都會對應一個應答對象response,其中它包含一個數字”狀態碼”。舉個例子,假如response是一個”重定向”,需[定位]到別的地址獲取文檔,urllib2將對此進行處理。
其他不能處理的,urlopen會產生一個HTTPError,對應相應的狀態嗎,HTTP狀態碼表示HTTP協議所返回的響應的狀態。下面將狀態碼歸結如下:
> 100:繼續 客戶端應當繼續發送請求。客戶端應當繼續發送請求的剩余部分,或者如果請求已經完成,忽略這個響應。
>
> 101: 轉換協議 在發送完這個響應最后的空行后,[服務器]將會切換到在Upgrade 消息頭中定義的那些協議。只有在切換新的協議更有好處的時候才應該采取類似措施。
>
> 102:繼續處理 由WebDAV(RFC 2518)擴展的狀態碼,代表處理將被繼續執行。
>
> 200:請求成功 處理方式:獲得響應的內容,進行處理
>
> 201:請求完成,結果是創建了新資源。新創建資源的URI可在響應的實體中得到 處理方式:爬蟲中不會遇到
>
> 202:請求被接受,但處理尚未完成 處理方式:阻塞等待
>
> 204:服務器端已經實現了請求,但是沒有返回新的信 息。如果客戶是用戶[代理],則無須為此更新自身的文檔視圖。 處理方式:丟棄
>
> 300:該狀態碼不被HTTP/1.0的應用程序直接使用, 只是作為3XX類型回應的默認解釋。存在多個可用的被請求資源。 處理方式:若程序中能夠處理,則進行進一步處理,如果程序中不能處理,則丟棄
> 301:請求到的資源都會分配一個永久的URL,這樣就可以在將來通過該URL來訪問此資源 處理方式:重定向到分配的URL
>
> 302:請求到的資源在一個不同的URL處臨時保存 處理方式:重定向到臨時的URL
>
> 304:請求的資源未更新 處理方式:丟棄
>
> 400:非法請求 處理方式:丟棄
>
> 401:未授權 處理方式:丟棄
>
> 403:禁止 處理方式:丟棄
>
> 404:沒有找到 處理方式:丟棄
>
> 500:服務器內部錯誤 服務器遇到了一個未曾預料的狀況,導致了它無法完成對請求的處理。一般來說,這個問題都會在[服務器端]的源代碼出現錯誤時出現。
>
> 501:服務器無法識別 服務器不支持當前請求所需要的某個功能。當服務器無法識別請求的方法,并且無法支持其對任何資源的請求。
>
> 502:錯誤網關 作為網關或者[代理]工作的服務器嘗試執行請求時,從上游服務器接收到無效的響應。
>
> 503:服務出錯 由于臨時的[服務器]維護或者過載,服務器當前無法處理請求。這個狀況是臨時的,并且將在一段時間以后恢復。
HTTPError實例產生后會有一個code屬性,這就是是服務器發送的相關錯誤號。
因為urllib2可以為你處理重定向,也就是3開頭的代號可以被處理,并且100-299范圍的號碼指示成功,所以你只能看到400-599的錯誤號碼。
下面我們寫一個例子來感受一下,捕獲的異常是HTTPError,它會帶有一個code屬性,就是錯誤代號,另外我們又打印了reason屬性,這是它的父類URLError的屬性。
~~~
import urllib2
req = urllib2.Request('http://blog.csdn.net/cqcre')
try:
????urllib2.urlopen(req)
except urllib2.HTTPError, e:
????print e.code
????print e.reason
~~~
運行結果如下
~~~
403
Forbidden
~~~
錯誤代號是403,錯誤原因是Forbidden,說明服務器禁止訪問。
我們知道,HTTPError的父類是URLError,根據[編程]經驗,父類的異常應當寫到子類異常的后面,如果子類捕獲不到,那么可以捕獲父類的異常,所以上述的代碼可以這么改寫
~~~
import urllib2
req = urllib2.Request('http://blog.csdn.net/cqcre')
try:
????urllib2.urlopen(req)
except urllib2.HTTPError, e:
????print e.code
except urllib2.URLError, e:
????print e.reason
else:
????print "OK"
~~~
如果捕獲到了HTTPError,則輸出code,不會再處理URLError異常。如果發生的不是HTTPError,則會去捕獲URLError異常,輸出錯誤原因。
另外還可以加入 hasattr屬性提前對屬性進行判斷,代碼改寫如下
~~~
import urllib2
req = urllib2.Request('http://blog.csdn.net/cqcre')
try:
????urllib2.urlopen(req)
except urllib2.URLError, e:
????if hasattr(e,"code"):
????????print e.code
????if hasattr(e,"reason"):
????????print e.reason
else:
????print "OK"
~~~
首先對異常的屬性進行判斷,以免出現屬性輸出報錯的現象。
以上,就是對URLError和HTTPError的相關介紹,以及相應的錯誤處理辦法,小伙伴們加油!
- Python爬蟲入門
- (1):綜述
- (2):爬蟲基礎了解
- (3):Urllib庫的基本使用
- (4):Urllib庫的高級用法
- (5):URLError異常處理
- (6):Cookie的使用
- (7):正則表達式
- (8):Beautiful Soup的用法
- Python爬蟲進階
- Python爬蟲進階一之爬蟲框架概述
- Python爬蟲進階二之PySpider框架安裝配置
- Python爬蟲進階三之Scrapy框架安裝配置
- Python爬蟲進階四之PySpider的用法
- Python爬蟲實戰
- Python爬蟲實戰(1):爬取糗事百科段子
- Python爬蟲實戰(2):百度貼吧帖子
- Python爬蟲實戰(3):計算大學本學期績點
- Python爬蟲實戰(4):模擬登錄淘寶并獲取所有訂單
- Python爬蟲實戰(5):抓取淘寶MM照片
- Python爬蟲實戰(6):抓取愛問知識人問題并保存至數據庫
- Python爬蟲利器
- Python爬蟲文章
- Python爬蟲(一)--豆瓣電影抓站小結(成功抓取Top100電影)
- Python爬蟲(二)--Coursera抓站小結
- Python爬蟲(三)-Socket網絡編程
- Python爬蟲(四)--多線程
- Python爬蟲(五)--多線程續(Queue)
- Python爬蟲(六)--Scrapy框架學習
- Python爬蟲(七)--Scrapy模擬登錄
- Python筆記
- python 知乎爬蟲
- Python 爬蟲之——模擬登陸
- python的urllib2 模塊解析
- 蜘蛛項目要用的數據庫操作
- gzip 壓縮格式的網站處理方法
- 通過瀏覽器的調試得出 headers轉換成字典
- Python登錄到weibo.com
- weibo v1.4.5 支持 RSA協議(模擬微博登錄)
- 搭建Scrapy爬蟲的開發環境
- 知乎精華回答的非專業大數據統計
- 基于PySpider的weibo.cn爬蟲
- Python-實現批量抓取妹子圖片
- Python庫
- python數據庫-mysql
- 圖片處理庫PIL
- Mac OS X安裝 Scrapy、PIL、BeautifulSoup
- 正則表達式 re模塊
- 郵件正則
- 正則匹配,但過濾某些字符串
- dict使用方法和快捷查找
- httplib2 庫的使用