[TOC] ## 1.Scrapy框架  **ENGINE** 引擎，框架的核心，控制其他組件協同工作。 **SCHEDULER** 調度器，負責對SPIDER提交的下載請求進行調度 **DOWNLOADER** 下載器，負責下載頁面 **SPIDER** 爬蟲，負責提取頁面中的數據，并產生新的請求 **MIDDLEWARE** 中間件，負責對Request對象和Response對象進行處理 **ITEM PIPELINE** 數據管道，負責對爬取到的數據進行處理 ## **2.安裝** ``` pip install scrapy # 檢查安裝是否成功 scrapy ``` ## **3.基本使用** ### **3.1.創建項目** ``` scrapy startproject example ``` 目錄結構：  ### **3.2.實現爬蟲** 在`spiders`目錄下創建文件如`boos_spider.py`。  * name：一個項目中有多個爬蟲，name屬性是唯一標識； * start_urls：爬蟲的起始頁面； * parse：當一個頁面下載完成后，Scrapy會回調一個指定的解析函數來解析頁面， 通常完成兩個任務：提取數據和提取鏈接。 ### **3.3.運行爬蟲** ``` scrapy crawl books -o books.csv ``` ## **4.編寫Spider**