:-:  scrapy爬蟲流程 | 組件 | 職責 | 是否需要手寫 | | --- | --- | --- | | Scrapy engine(引擎) | 總指揮：負責數據和信號的在不同模塊間的傳遞 | scrapy已經實現 | | Scheduler(調度器) | ?個隊列，存放引擎發過來的request請求 | scrapy已經實現 | | Downloader(下載器) | 下載把引擎發過來的 requests請求，并返回 給引擎 | scrapy已經實現 | | Spider(爬?) | 處理引擎發來的 response，提取數據，提 取url，并交給引擎 | 需要?寫 | | Item Pipline(管道) | 處理引擎傳過來的數 據，?如存儲 | 需要?寫 | | Downloader Middlewares(下載中 間件) | 可以?定義的下載擴展，?如設置代理 | ?般不??寫 | | Spider Middlewares(中間件) | 可以?定義requests請求和進?response過濾 | ?般不??寫 |