## **引入** xpath解析是我們在爬蟲中最常用也是最通用的一種數據解析方式，由于其高效且簡介的解析方式受到了廣大程序員的喜愛。在后期學習scrapy框架期間，也會再次使用到xpath解析。 ## **環境安裝** ```python pip install lxml ``` ## **解析原理** - 使用通用爬蟲爬取網頁數據 - 實例化etree對象，且將頁面數據加載到該對象中 - 使用xpath函數結合xpath表達式進行標簽定位和指定數據提取 ## **常用xpath表達式** ```xpath 屬性定位： #找到class屬性值為song的div標簽 //div[@class="song"] 層級&索引定位： #找到class屬性值為tang的div的直系子標簽ul下的第二個子標簽li下的直系子標簽a //div[@class="tang"]/ul/li[2]/a 邏輯運算： #找到href屬性值為空且class屬性值為du的a標簽 //a[@href="" and @class="du"] 模糊匹配： //div[contains(@class, "ng")] //div[starts-with(@class, "ta")] 取文本： # /表示獲取某個標簽下的文本內容 # //表示獲取某個標簽下的文本內容和所有子標簽下的文本內容 //div[@class="song"]/p[1]/text() //div[@class="tang"]//text() 取屬性： //div[@class="tang"]//li[2]/a/@href ``` ## **etree對象實例化** ``` - 本地文件： tree = etree.parse(文件名) tree.xpath("xpath表達式") - 網絡數據： tree = etree.HTML(網頁內容字符串) tree.xpath("xpath表達式") ```