[TOC] # Python爬蟲抓取實戰一百度貼吧熱議榜 > 下面示例比較簡單，主要說明下如何查找AJAX數據接口。 1. 打開`Chrome`瀏覽器 ，按`F12`顯示開發者工具，然后訪問`https://tieba.baidu.com`網站 2. 找到`Network`頁，選中`Filter`漏斗圖標，此時可以看到"All|XHR|JS|...."不同類型文件的選擇，我們選中`XHR`。 3. 此時下面的URL列表中有個`topicList`，選中后，右側顯示"Preview"預覽內容為`JSON`數據，這里正是我們看到的熱門話題`Top30`。  找到這里，我們就定位到了數據源請求鏈接地址為： `https://jump.bdimg.com/hottopic/browse/topicList` ， 接下來我們就是通過`Python`腳本訪問并獲取響應數據。 ```Python #!/usr/bin/env python3 # -*- coding: utf-8 -*- import requests as req import html headers = { 'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36', } # 獲取貼吧信息： # 排名序號|標題|摘要|熱度|鏈接圖片 def tieba_hot(): url='https://jump.bdimg.com/hottopic/browse/topicList' # JSON數據接口 resp = req.get(url, headers = headers) data = resp.json() topic_list = data['data']['bang_topic']['topic_list'] for topic in topic_list: topic_url = html.unescape(topic['topic_url']) print('{} |{}|{}\n'.format(topic['idx_num'],topic['topic_name'],topic_url)) if __name__ == '__main__': tieba_hot() ``` `requests`庫請求返回的結果數據是`json`格式數據，我們可以通過`json()`方法提取為`Python`字典類型的數據結果。 然后對話題列表提取`話題排名`、`話題內容`和對應的`URL`地址信息。 **說明：** `topic_url`中的`\&`字符被轉義為`\&`，需要對`HTML實體`進行`反轉義`處理，否則訪問URL會無法正確訪問。 我們使用`html.unescape()`方法來處理一下，只需要將`topic['topic_url']` 改成 `html.unescape(topic['topic_url'])` 即可，其他字段不變。 關于`HTML實體字符轉換`的`HTML庫`實現源碼可以點擊這里查看 [Lib/html/__init__.py](https://github.com/python/cpython/blob/3.8/Lib/html/__init__.py)