4.1 使用xpath · python3爬蟲筆記

# 4.1 使用xpath ## 1.說明 XPath，全稱 XML Path Language，即 XML 路徑語言，它是一門在XML文檔中查找信息的語言。XPath 最初設計是用來搜尋XML文檔的，但是它同樣適用于 HTML 文檔的搜索 ## 2.相關鏈接官方文檔:[https://www.w3.org/TR/xpath/](https://www.w3.org/TR/xpath/) ## 3.XPath常用規則 {#2-xpath常用規則} | 表達式 | 描述 | | :--- | :--- | | nodename | 選取此節點的所有子節點 | | / | 從當前節點選取直接子節點 | | // | 從當前節點選取子孫節點 | | . | 選取當前節點 | | .. | 選取當前節點的父節點 | | @ | 選取屬性 | ## 4. 實例引入 {#4-實例引入} ```text from lxml import etree content = ''' <div> <ul> <li class="item-0"><a href="link1.html">first item</a></li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-inactive"><a href="link3.html">third item</a></li> <li class="item-1"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a> </ul> </div> ''' # 調用etree模塊的HTML類構造一個XPath解析對象 html = etree.HTML(content) result = etree.tostring(html) print(result.decode('utf-8')) ``` HTML 文本中的最后一個 li 節點是沒有閉合的，但是 etree 模塊可以對 HTML 文本進行自動修正運行結果: ```text <html><body><div> <ul> <li class="item-0"><a href="link1.html">first item</a></li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-inactive"><a href="link3.html">third item</a></li> <li class="item-1"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a> </li></ul> </div> </body></html> ``` 可以直接讀取文本進行解析 ```text from lxml import etree html = etree.parse('test.html',etree.HTMLParser()) result = etree.tostring(html) print(result.decode('utf-8')) ``` test.html內容 ```text <div> <ul> <li class="item-0"><a href="link1.html">first item</a></li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-inactive"><a href="link3.html">third item</a></li> <li class="item-1"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a> </ul> </div> ``` 解析后結果: ```text <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www.w3.org/TR/REC-html40/loose.dtd"> <html><body><div> <ul> <li class="item-0"><a href="link1.html">first item</a></li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-inactive"><a href="link3.html">third item</a></li> <li class="item-1"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a> </li></ul> </div></body></html> ``` ## 5.所有結點利用//開頭的xpath規則選取所有符合要求的節點 ```text from lxml import etree html = etree.parse('test.html',etree.HTMLParser()) result = html.xpath('//*') print(result) ``` \*代表匹配所有的結點運行結果: ```text [<Element html at 0x185591fd548>, <Element body at 0x185591fd688>, <Element div at 0x185591fd6c8>, <Element ul at 0x185591fd708>, <Element li at 0x185591fd748>, <Element a at 0x185591fd7c8>, <Element li at 0x185591fd808>, <Element a at 0x185591fd848>, <Element li at 0x185591fdac8>, <Element a at 0x185591fd788>, <Element li at 0x185591fdb08>, <Element a at 0x185591fdb48>, <Element li at 0x185591fdb88>, <Element a at 0x185591fdbc8>] ``` 只獲取li節點要選取所有 li 節點可以使用 //，然后直接加上節點的名稱即可，調用時直接調用 xpath\(\) 方法即可提取 ```text from lxml import etree html = etree.parse('test.html',etree.HTMLParser()) result = html.xpath('//li') print(result) ``` ## 6.子結點通過/或者//查找子結點或子孫子結點實例:查找li節點下的所有a子節點 ```text from lxml import etree html = etree.parse('test.html',etree.HTMLParser()) result = html.xpath('//li/a') print(result) ``` 運行結果: ```text [<Element a at 0x1dc63e8d708>, <Element a at 0x1dc63e8d748>, <Element a at 0x1dc63e8d788>, <Element a at 0x1dc63e8d7c8>, <Element a at 0x1dc63e8d808>] ``` 實例:查找ul節點下的所有的子孫a節點 ```text from lxml import etree html = etree.parse('test.html',etree.HTMLParser()) result = html.xpath('//li//a') print(result) ``` 運行結果與上個例子是相同的一定要注意/和//的區別，/是獲取直接子節點，//是獲取子孫節點 ## 7. 父節點 {#7-父節點} 可以通過..來獲取父節點實例:獲取href 是 link4.html 的 a 節點的父節點的class屬性 ```text from lxml import etree html = etree.parse('test.html',etree.HTMLParser()) result = html.xpath('//a[@href="link4.html"]/../@class') print(result) ``` 運行結果: ```text ['item-1'] ``` 也可以通過 parent:: 來獲取父節點實例: ```text from lxml import etree html = etree.parse('test.html',etree.HTMLParser()) result = html.xpath('//a[@href="link4.html"]/parent::*/@class') ``` ## 8. 屬性匹配 {#8-屬性匹配} @符號可以進行匹配屬性實例: ```text from lxml import etree html = etree.parse('test.html',etree.HTMLParser()) result = html.xpath('//li[@class="item-0"]') print(result) ``` 運行結果為: ```text [<Element li at 0x1e85c0bd748>, <Element li at 0x1e85c0bd788>] ``` ## 9. 文本獲取 {#9-文本獲取} 利用xpath中的text\(\)方法可以獲取節點中的文本實例:獲取li節點下的文本 ```text from lxml import etree html = etree.parse('test.html',etree.HTMLParser()) result = html.xpath('//li[@class="item-0"]/text()') print(result) ``` 運行結果: ```text ['\r\n '] ``` 可是沒有到獲取想要文本，是因為文本內容時在a節點下的，不能直接獲取而想獲取其中的內容有兩種方式，一種是選取到a節點再獲取文本，另一種就是使用// ```text from lxml import etree html = etree.parse('test.html',etree.HTMLParser()) result = html.xpath('//li[@class="item-0"]/a/text()') print(result) ``` 運行結果: ```text ['first item', 'fifth item'] ``` ```text from lxml import etree html = etree.parse('test.html',etree.HTMLParser()) result = html.xpath('//li[@class="item-0"]//text()') print(result) ``` 運行結果: ```text ['first item', 'fifth item', '\r\n '] ``` * 如果要想獲取子孫節點內部的所有文本，可以直接用 // 加 text\(\) 的方式獲取，能保證獲取到最全面的文本信息，但可能會夾雜一些換行符等特殊字符 * 想獲取某些特定子孫節點下的所有文本，先選取到特定的子孫節點，然后再調用 text\(\) 方法獲取其內部文本，這樣可以保證獲取的結果是整潔的 ## 10. 屬性獲取 {#10-屬性獲取} 獲取屬性的內容實例:獲取li節點下所有a節點的href屬性 ```text from lxml import etree html = etree.parse('test.html',etree.HTMLParser()) result = html.xpath('//li/a/@href') print(result) ``` 運行結果: ```text ['link1.html', 'link2.html', 'link3.html', 'link4.html', 'link5.html'] ``` ## 11. 屬性多值匹配 {#11-屬性多值匹配} 匹配有多個屬性值的節點，需要用contains\(\)函數語法: ```text contains(@屬性名稱,屬性值) ``` 例子: ```text from lxml import etree text = ''' <li class="li li-first"><a href="link.html">first item</a></li> ''' html = etree.HTML(text) result = html.xpath('//li[contains(@class,"li")]/a/text()') print(result) ``` 運行結果: ```text ['first item'] ``` ## 12. 多屬性匹配 {#12-多屬性匹配} 根據多個屬性才能確定一個節點，需要使用運算符and來連接 ```text from lxml import etree text = ''' <li class="li li-first" name="item"><a href="link.html">first item</a></li> ''' html = etree.HTML(text) result = html.xpath('//li[contains(@class,"li") and @name="item"]/a/text()') print(result) ``` 運行結果: ```text ['first item'] ``` XPath 中的運算符，另外還有很多運算符，如 or、mod 等等，在此總結如下： | 運算符 | 描述 | 實例 | 返回值 | | :--- | :--- | :--- | :--- | | or | 或 | price=9.80 or price=9.70 | 如果 price 是 9.80，則返回 true。如果 price 是 9.50，則返回 false。 | | and | 與 | price>9.00 and price<9.90 | 如果 price 是 9.80，則返回 true。如果 price 是 8.50，則返回 false。 | | mod | 計算除法的余數 | 5 mod 2 | 1 | | + | 加法 | 6 + 4 | 10 | | - | 減法 | 6 - 4 | 2 | | \* | 乘法 | 6 \* 4 | 24 | | div | 除法 | 8 div 4 | 2 | | = | 等于 | price=9.80 | 如果 price 是 9.80，則返回 true。如果 price 是 9.90，則返回 false。 | | != | 不等于 | price!=9.80 | 如果 price 是 9.90，則返回 true。如果 price 是 9.80，則返回 false。 | | < | 小于 | price<9.80 | 如果 price 是 9.00，則返回 true。如果 price 是 9.90，則返回 false。 | | <= | 小于或等于 | price<=9.80 | 如果 price 是 9.00，則返回 true。如果 price 是 9.90，則返回 false。 | | > | 大于 | price>9.80 | 如果 price 是 9.90，則返回 true。如果 price 是 9.80，則返回 false。 | | >= | 大于或等于 | price>=9.80 | 如果 price 是 9.90，則返回 true。如果 price 是 9.70，則返回 false。 | 參考來源：[http://www.w3school.com.cn/xpath/xpath\_operators.asp](http://www.w3school.com.cn/xpath/xpath_operators.asp) ## 13. 按序選擇 {#13-按序選擇} 實例: ```text from lxml import etree text = ''' <div> <ul> <li class="item-0"><a href="link1.html">first item</a></li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-inactive"><a href="link3.html">third item</a></li> <li class="item-1"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a> </ul> </div> ''' html = etree.HTML(text) result = html.xpath('//li[1]/a/text()') print(result) result = html.xpath('//li[last()]/a/text()') print(result) result = html.xpath('//li[position()<3]/a/text()') print(result) result = html.xpath('//li[last()-2]/a/text()') print(result) ``` 第一次選擇,選取了第一個 li 節點，中括號中傳入數字1即可，注意這里和代碼中不同，序號是以 1 開頭的，不是 0 開頭的。第二次選擇,選取了最后一個 li 節點，中括號中傳入 last\(\) 即可，返回的便是最后一個 li 節點。第三次選擇,選取了位置小于 3 的 li 節點，也就是位置序號為 1 和 2 的節點，得到的結果就是前 2 個 li 節點。第四次選擇,選取了倒數第三個 li 節點，中括號中傳入 last\(\)-2即可，因為 last\(\) 是最后一個，所以 last\(\)-2 就是倒數第三個。運行結果如下： ```text ['first item'] ['fifth item'] ['first item', 'second item'] ['third item'] ``` 函數參考:[http://www.w3school.com.cn/xpath/xpath\_functions.asp](http://www.w3school.com.cn/xpath/xpath_functions.asp) ## 13. 節點軸選擇 {#13-節點軸選擇} ```text from lxml import etree text = ''' <div> <ul> <li class="item-0"><a href="link1.html"><span>first item</span></a></li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-inactive"><a href="link3.html">third item</a></li> <li class="item-1"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a> </ul> </div> ''' html = etree.HTML(text) # 獲取所有祖先節點 result = html.xpath('//li[1]/ancestor::*') print(result) # 獲取div的祖先節點 result = html.xpath('//li[1]/ancestor::div') print(result) # 獲取屬性值 result = html.xpath('//li[1]/attribute::*') print(result) # 獲取直接子節點 result = html.xpath('//li[1]/child::a[@href="link1.html"]') print(result) # 獲取所有子孫節點 result = html.xpath('//li[1]/descendant::span') print(result) # 獲取當前節點之后的所有節點 result = html.xpath('//li[1]/following::*[2]') print(result) # 獲取當前節點之后的所有同級節點 result = html.xpath('//li[1]/following-sibling::*') print(result) ``` 軸的使用，用法參考：[http://www.w3school.com.cn/xpath/xpath\_axes.asp](http://www.w3school.com.cn/xpath/xpath_axes.asp)