對象的種類 · Beautiful Soup 4.2.0 中文文檔

# 對象的種類 Beautiful Soup將復雜HTML文檔轉換成一個復雜的樹形結構,每個節點都是Python對象,所有對象可以歸納為4種: `Tag` , `NavigableString` , `BeautifulSoup` , `Comment` . ## Tag `Tag` 對象與XML或HTML原生文檔中的tag相同: ``` soup = BeautifulSoup('Extremely bold') tag = soup.b type(tag) # <class 'bs4.element.Tag'> ``` Tag有很多方法和屬性,在 [遍歷文檔樹](#id15) 和 [搜索文檔樹](#id24) 中有詳細解釋.現在介紹一下tag中最重要的屬性: name和attributes ### Name 每個tag都有自己的名字,通過 `.name` 來獲取: ``` tag.name # u'b' ``` 如果改變了tag的name,那將影響所有通過當前Beautiful Soup對象生成的HTML文檔: ``` tag.name = "blockquote" tag # <blockquote class="boldest">Extremely bold</blockquote> ``` ### Attributes 一個tag可能有很多個屬性. tag `` 有一個 “class” 的屬性,值為 “boldest” . tag的屬性的操作方法與字典相同: ``` tag['class'] # u'boldest' ``` 也可以直接”點”取屬性, 比如: `.attrs` : ``` tag.attrs # {u'class': u'boldest'} ``` tag的屬性可以被添加,刪除或修改. 再說一次, tag的屬性操作方法與字典一樣 ``` tag['class'] = 'verybold' tag['id'] = 1 tag # <blockquote class="verybold" id="1">Extremely bold</blockquote> del tag['class'] del tag['id'] tag # <blockquote>Extremely bold</blockquote> tag['class'] # KeyError: 'class' print(tag.get('class')) # None ``` #### 多值屬性 HTML 4定義了一系列可以包含多個值的屬性.在HTML5中移除了一些,卻增加更多.最常見的多值的屬性是 class (一個tag可以有多個CSS的class). 還有一些屬性 `rel` , `rev` , `accept-charset` , `headers` , `accesskey` . 在Beautiful Soup中多值屬性的返回類型是list: ``` css_soup = BeautifulSoup('') css_soup.p['class'] # ["body", "strikeout"] css_soup = BeautifulSoup('') css_soup.p['class'] # ["body"] ``` 如果某個屬性看起來好像有多個值,但在任何版本的HTML定義中都沒有被定義為多值屬性,那么Beautiful Soup會將這個屬性作為字符串返回 ``` id_soup = BeautifulSoup('') id_soup.p['id'] # 'my id' ``` 將tag轉換成字符串時,多值屬性會合并為一個值 ``` rel_soup = BeautifulSoup('Back to the <a rel="index">homepage</a>') rel_soup.a['rel'] # ['index'] rel_soup.a['rel'] = ['index', 'contents'] print(rel_soup.p) # Back to the <a rel="index contents">homepage</a> ``` 如果轉換的文檔是XML格式,那么tag中不包含多值屬性 ``` xml_soup = BeautifulSoup('', 'xml') xml_soup.p['class'] # u'body strikeout' ``` ## 可以遍歷的字符串字符串常被包含在tag內.Beautiful Soup用 `NavigableString` 類來包裝tag中的字符串: ``` tag.string # u'Extremely bold' type(tag.string) # <class 'bs4.element.NavigableString'> ``` 一個 `NavigableString` 字符串與Python中的Unicode字符串相同,并且還支持包含在 [遍歷文檔樹](#id15) 和 [搜索文檔樹](#id24) 中的一些特性. 通過 `unicode()` 方法可以直接將 `NavigableString` 對象轉換成Unicode字符串: ``` unicode_string = unicode(tag.string) unicode_string # u'Extremely bold' type(unicode_string) # <type 'unicode'> ``` tag中包含的字符串不能編輯,但是可以被替換成其它的字符串,用 [replace_with()](#replace-with) 方法: ``` tag.string.replace_with("No longer bold") tag # <blockquote>No longer bold</blockquote> ``` `NavigableString` 對象支持 [遍歷文檔樹](#id15) 和 [搜索文檔樹](#id24) 中定義的大部分屬性, 并非全部.尤其是,一個字符串不能包含其它內容(tag能夠包含字符串或是其它tag),字符串不支持 `.contents` 或 `.string` 屬性或 `find()` 方法. 如果想在Beautiful Soup之外使用 `NavigableString` 對象,需要調用 `unicode()` 方法,將該對象轉換成普通的Unicode字符串,否則就算Beautiful Soup已方法已經執行結束,該對象的輸出也會帶有對象的引用地址.這樣會浪費內存. ## BeautifulSoup `BeautifulSoup` 對象表示的是一個文檔的全部內容.大部分時候,可以把它當作 `Tag` 對象,它支持 [遍歷文檔樹](#id15) 和 [搜索文檔樹](#id24) 中描述的大部分的方法. 因為 `BeautifulSoup` 對象并不是真正的HTML或XML的tag,所以它沒有name和attribute屬性.但有時查看它的 `.name` 屬性是很方便的,所以 `BeautifulSoup` 對象包含了一個值為 “[document]” 的特殊屬性 `.name` ``` soup.name # u'[document]' ``` ## 注釋及特殊字符串 `Tag` , `NavigableString` , `BeautifulSoup` 幾乎覆蓋了html和xml中的所有內容,但是還有一些特殊對象.容易讓人擔心的內容是文檔的注釋部分: ``` markup = "" soup = BeautifulSoup(markup) comment = soup.b.string type(comment) # <class 'bs4.element.Comment'> ``` `Comment` 對象是一個特殊類型的 `NavigableString` 對象: ``` comment # u'Hey, buddy. Want to buy a used parser' ``` 但是當它出現在HTML文檔中時, `Comment` 對象會使用特殊的格式輸出: ``` print(soup.b.prettify()) # #  # ``` Beautiful Soup中定義的其它類型都可能會出現在XML的文檔中: `CData` , `ProcessingInstruction` , `Declaration` , `Doctype` .與 `Comment` 對象類似,這些類都是 `NavigableString` 的子類,只是添加了一些額外的方法的字符串獨享.下面是用CDATA來替代注釋的例子: ``` from bs4 import CData cdata = CData("A CDATA block") comment.replace_with(cdata) print(soup.b.prettify()) # # <![CDATA[A CDATA block]]> # ```