那么接下來,小伙伴們就一起和我真正邁向我們的爬蟲之路吧。
## 1.分分鐘扒一個網頁下來
怎樣扒網頁呢?其實就是根據URL來獲取它的網頁信息,雖然我們在瀏覽器中看到的是一幅幅優美的畫面,但是其實是由瀏覽器解釋才呈現出來的,實質它 是一段HTML代碼,加 JS、CSS,如果把網頁比作一個人,那么HTML便是他的骨架,JS便是他的肌肉,CSS便是它的衣服。所以最重要的部分是存在于HTML中的,下面我 們就寫個例子來扒一個網頁下來。
~~~
import urllib2
response = urllib2.urlopen("http://www.baidu.com")
print response.read()
~~~
是的你沒看錯,真正的程序就兩行,把它保存成 demo.py,進入該文件的目錄,執行如下命令查看運行結果,感受一下。
~~~
python demo.py
~~~

看,這個網頁的[源碼]已經被我們扒下來了,是不是很酸爽?
## 2.分析扒網頁的方法
那么我們來分析這兩行代碼,第一行
~~~
response = urllib2.urlopen("http://www.baidu.com")
~~~
首先我們調用的是urllib2庫里面的urlopen方法,傳入一個URL,這個網址是百度首頁,協議是HTTP協議,當然你也可以把HTTP換做FTP,FILE,HTTPS 等等,只是代表了一種[訪問控制]協議,urlopen一般接受三個參數,它的參數如下:
`urlopen(url, data, timeout)`
第一個參數url即為URL,第二個參數data是訪問URL時要傳送的數據,第三個timeout是設置超時時間。
第二三個參數是可以不傳送的,data默認為空None,timeout默認為 socket._GLOBAL_DEFAULT_TIMEOUT
第一個參數URL是必須要傳送的,在這個例子里面我們傳送了百度的URL,執行urlopen方法之后,返回一個response對象,返回信息便保存在這里面。
`print response.read()`
response對象有一個read方法,可以返回獲取到的網頁內容。
如果不加read直接打印會是什么?答案如下:
`
addinfourl at 139728495260376 whose fp = socket._fileobject object at 0x7f1513fb3ad0>>
`
直接打印出了該對象的描述,所以記得一定要加read方法,否則它不出來內容可就不怪我咯!
## 3.構造Requset
其實上面的urlopen參數可以傳入一個request請求,它其實就是一個Request類的實例,構造時需要傳入Url,Data等等的內容。比如上面的兩行代碼,我們可以這么改寫
~~~
import urllib2
request = urllib2.Request("http://www.baidu.com")
response = urllib2.urlopen(request)
print response.read()
~~~
運行結果是完全一樣的,只不過中間多了一個request對象,推薦大家這么寫,因為在構建請求時還需要加入好多內容,通過構建一個request,[服務器]響應請求得到應答,這樣顯得邏輯上清晰明確。
## 4.POST和GET數據傳送
上面的程序演示了最基本的網頁抓取,不過,現在大多數網站都是動態網頁,需要你動態地傳遞參數給它,它做出對應的響應。所以,在訪問時,我們需要傳遞數據給它。最常見的情況是什么?對了,就是登錄注冊的時候呀。
把數據用戶名和密碼傳送到一個URL,然后你得到服務器處理之后的響應,這個該怎么辦?下面讓我來為小伙伴們揭曉吧!
數據傳送分為POST和GET兩種方式,兩種方式有什么區別呢?
最重要的區別是GET方式是直接以鏈接形式訪問,鏈接中包含了所有的參數,當然如果包含了密碼的話是一種不安全的選擇,不過你可以直觀地看到自己提交了什么內容。POST則不會在網址上顯示所有的參數,不過如果你想直接查看提交了什么就不太方便了,大家可以酌情選擇。
### POST方式:
上面我們說了data參數是干嘛的?對了,它就是用在這里的,我們傳送的數據就是這個參數data,下面[演示]一下POST方式。
~~~
import urllib
import urllib2
values = {"username":"1016903103@qq.com","password":"XXXX"}
data = urllib.urlencode(values)
url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
request = urllib2.Request(url,data)
response = urllib2.urlopen(request)
print response.read()
~~~
我們引入了urllib庫,現在我們模擬登陸CSDN,當然上述代碼可能登陸不進去,因為還要做一些設置頭部header的工作,或者還有一些參數 沒有設置全,還沒有提及到在此就不寫上去了,在此只是說明登錄的原理。我們需要定義一個字典,名字為values,參數我設置了username和 password,下面利用urllib的urlencode方法將字典編碼,命名為data,構建request時傳入兩個參數,url和data,運 行程序,即可實現登陸,返回的便是登陸后呈現的頁面內容。當然你可以自己搭建一個[服務器]來測試一下。
注意上面字典的定義方式還有一種,下面的寫法是等價的
~~~
import urllib
import urllib2
values = {}
values['username'] = "1016903103@qq.com"
values['password'] = "XXXX"
data = urllib.urlencode(values)
url = "http://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
request = urllib2.Request(url,data)
response = urllib2.urlopen(request)
print response.read()
~~~
以上方法便實現了POST方式的傳送
### GET方式:
至于GET方式我們可以直接把參數寫到網址上面,直接構建一個帶參數的URL出來即可。
~~~
import urllib
import urllib2
values={}
values['username'] = "1016903103@qq.com"
values['password']="XXXX"
data = urllib.urlencode(values)
url = "http://passport.csdn.net/account/login"
geturl = url + "?"+data
request = urllib2.Request(geturl)
response = urllib2.urlopen(request)
print response.read()
~~~
你可以print geturl,打印輸出一下url,發現其實就是原來的url加?然后加編碼后的參數
~~~
http://passport.csdn.net/account/login?username=1016903103%40qq.com&password=XXXX
~~~
和我們平常GET訪問方式一模一樣,這樣就實現了數據的GET方式傳送。
本節[講解]了一些基本使用,可以抓取到一些基本的網頁信息,小伙伴們加油!
- Python爬蟲入門
- (1):綜述
- (2):爬蟲基礎了解
- (3):Urllib庫的基本使用
- (4):Urllib庫的高級用法
- (5):URLError異常處理
- (6):Cookie的使用
- (7):正則表達式
- (8):Beautiful Soup的用法
- Python爬蟲進階
- Python爬蟲進階一之爬蟲框架概述
- Python爬蟲進階二之PySpider框架安裝配置
- Python爬蟲進階三之Scrapy框架安裝配置
- Python爬蟲進階四之PySpider的用法
- Python爬蟲實戰
- Python爬蟲實戰(1):爬取糗事百科段子
- Python爬蟲實戰(2):百度貼吧帖子
- Python爬蟲實戰(3):計算大學本學期績點
- Python爬蟲實戰(4):模擬登錄淘寶并獲取所有訂單
- Python爬蟲實戰(5):抓取淘寶MM照片
- Python爬蟲實戰(6):抓取愛問知識人問題并保存至數據庫
- Python爬蟲利器
- Python爬蟲文章
- Python爬蟲(一)--豆瓣電影抓站小結(成功抓取Top100電影)
- Python爬蟲(二)--Coursera抓站小結
- Python爬蟲(三)-Socket網絡編程
- Python爬蟲(四)--多線程
- Python爬蟲(五)--多線程續(Queue)
- Python爬蟲(六)--Scrapy框架學習
- Python爬蟲(七)--Scrapy模擬登錄
- Python筆記
- python 知乎爬蟲
- Python 爬蟲之——模擬登陸
- python的urllib2 模塊解析
- 蜘蛛項目要用的數據庫操作
- gzip 壓縮格式的網站處理方法
- 通過瀏覽器的調試得出 headers轉換成字典
- Python登錄到weibo.com
- weibo v1.4.5 支持 RSA協議(模擬微博登錄)
- 搭建Scrapy爬蟲的開發環境
- 知乎精華回答的非專業大數據統計
- 基于PySpider的weibo.cn爬蟲
- Python-實現批量抓取妹子圖片
- Python庫
- python數據庫-mysql
- 圖片處理庫PIL
- Mac OS X安裝 Scrapy、PIL、BeautifulSoup
- 正則表達式 re模塊
- 郵件正則
- 正則匹配,但過濾某些字符串
- dict使用方法和快捷查找
- httplib2 庫的使用