2.3.3 javascript渲染的頁面 · python3爬蟲筆記

# 2.3.3 javascript渲染的頁面有時候我們在用 Urllib 或 Requests 抓取網頁時，得到的源代碼實際和瀏覽器中看到的是不一樣的。這個問題是一個非常常見的問題，現在網頁越來越多地采用 Ajax、前端模塊化工具來構建網頁，整個網頁可能都是由 JavaScript 渲染出來的，意思就是說原始的 HTML 代碼就是一個空殼，例如： ```text <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>This is a Demo</title> </head> <body> <div id="container"> </div> </body> <script src="app.js"></script> </html> ``` body 節點里面只有一個 id 為 container 的節點，但是注意到在 body 節點后引入了一個 app.js，這個便負責了整個網站的渲染。在瀏覽器打開這個頁面時，首先會加載這個 HTML 內容，接著瀏覽器會發現其中里面引入了一個 app.js 文件，然后瀏覽器便會接著去請求這個文件，獲取到該文件之后便會執行其中的 JavaScript 代碼，而 JavaScript 則會改變 HTML 中的節點，向內添加內容，最后得到完整的頁面。但是在用 Urllib 或 Requests 等庫來請求當前頁面時，我們得到的只是這個 HTML 代碼，它不會幫助我們去繼續加載這個 JavaScript 文件，這樣也就看不到瀏覽器中看到的內容了。這也解釋了為什么有時我們得到的源代碼和瀏覽器中看到的是不一樣的。所以使用基本 HTTP 請求庫得到的結果源代碼可能跟瀏覽器中的頁面源代碼不太一樣。對于這樣的情況，我們可以分析其后臺 Ajax 接口，也可使用 Selenium、Splash 這樣的庫來實現模擬 JavaScript 渲染，這樣我們便可以爬取 JavaScript 渲染的網頁的內容了