### urlopen函數： 【打開遠程網頁】 在`Python3`的`urllib`庫中，所有和網絡請求相關的方法，都被集到`urllib.request`模塊下面了，以先來看下`urlopen`函數基本的使用： ``` from urllib import request resp = request.urlopen('http://www.baidu.com') print(resp.read()) ``` ### urlretrieve函數： 【將網站上頁面保存到本地靜態網頁】 這個函數可以方便的_**將網頁上的一個文件**_**\*\***\*\*_\*\_\*_\*保存到本地\_\*。以下代碼可以非常方便的將百度的首頁下載到本地： ``` from urllib import request request.urlretrieve('http://www.baidu.com/','baidu.html') ``` ### urlencode函數： 【參數編碼】 用瀏覽器發送請求的時候，如果url中包含了中文或者其他特殊字符，那么瀏覽器會自動的給我們進行編碼。而如果使用代碼發送請求，那么就必須手動的進行編碼，這時候就應該使用`urlencode`函數來實現。`urlencode`可以把字典數據轉換為`URL`編碼的數據。示例代碼如下： ``` from urllib import parse data = {'name':'爬蟲基礎','greet':'hello world','age':100} qs = parse.urlencode(data) print(qs) ``` ### parse\_qs函數： 【參數解碼】 可以將經過編碼后的url參數進行解碼。示例代碼如下： ``` from urllib import parse qs = "name=%E7%88%AC%E8%99%AB%E5%9F%BA%E7%A1%80&greet=hello+world&age=100" print(parse.parse_qs(qs)) ``` ### urlparse和urlsplit： 【參數分解】 有時候拿到一個url，想要對這個url中的各個組成部分進行分割，那么這時候就可以使用`urlparse`或者是`urlsplit`來進行分割。示例代碼如下： ``` from urllib import request,parse url = 'http://www.baidu.com/s?username=zhiliao' result = parse.urlsplit(url) # result = parse.urlparse(url) print('scheme:',result.scheme) print('netloc:',result.netloc) print('path:',result.path) print('query:',result.query) ``` `urlparse`和`urlsplit`基本上是一模一樣的。唯一不一樣的地方是，`urlparse`里面多了一個`params`屬性，而`urlsplit`沒有這個`params`屬性。比如有一個`url`為：`url = 'http://www.baidu.com/s;hello?wd=python&username=abc#1'`， 那么`urlparse`可以獲取到`hello`，而`urlsplit`不可以獲取到。`url`中的`params`也用得比較少。 ### request.Request類： 如果想要在請求的時候增加一些請求頭，那么就必須使用`request.Request`類來實現。比如要增加一個`User-Agent`，示例代碼如下： ``` from urllib import request headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36' } req = request.Request("http://www.baidu.com/",headers=headers) resp = request.urlopen(req) print(resp.read()) ```