為什么要動態加載？ 有些網站的數據是通過異步加載的，需要等待一定的時間后才能抓取到網頁的html結構，所以我們需要等待一定的時間才能從捕捉到我們想要的數據。 <br/> 實現步驟如下：就是定義個中間件 **1. 在`middlewares.py`中定義 SeleniumMiddleware 中間件** ```python class SeleniumMiddleware: def process_request(self, request, spider): url = request.url # 使用selenium是非常消耗內存的，所以我們只在需要動態加載的url中進行加載 if 'booksort' in url: driver = webdriver.Chrome() driver.get(url) time.sleep(3) # 提醒：page_source是獲取等待一定時間后的網頁源碼，不是獲取靜態頁面的源碼 data = driver.page_source driver.close() # 創建響應對象 res = HtmlResponse(url=url, body=data, encoding='utf-8', request=request) return res return None def process_response(self, request, response, spider): return response ``` <br/> **2. 在`settings.py`中啟動 SeleniumMiddleware 中間件** ```python DOWNLOADER_MIDDLEWARES = { "jdbookspro.middlewares.SeleniumMiddleware": 303, } ```