# 一 反爬思路 一個網頁可能包含上百張圖片,如果一次性都加載出來,頁面加載可能會很慢,有一種圖片懶加載的方式, 1. 將圖片的src熟悉,替換為其他的屬性,這樣初始及ubuntu加載圖片 2. 當頁面檢測到用戶瀏覽到指定位置后,動態修改圖片的屬性為src 3. 然后請求并顯示圖片 # 二 對抗思路 這種方式一般不是為了反爬,是為了優化頁面加載,但這樣會導致用request請求頁面時,由于沒有瀏覽任何位置,到賬一張圖片都不會加載 解決思路是找到懶加載的真實屬性,獲取該真實屬性的連接 # 三 爬蟲案例 ~~~python import requests from lxml import etree url='http://sc.chinaz.com/tupian/xingganmeinvtupian.html' headers={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36' } res=requests.get(url=url,headers=headers).text # 1. 注意第一次先將頁面報錯到本地,去分析真實屬性 # with open('test.html','w',encoding='utf-8') as f: # f.write(res) tree=etree.HTML(res) div_list=tree.xpath('//*[@id="container"]/div') for div in div_list: # 2. 這里,用到了真實屬性src2,而不是src image_url=div.xpath('./div/a/img/@src2')[0] print(image_url) ~~~