[TOC] ## 制作 Scrapy 爬蟲 一共需要4步： 1. 新建項目 (scrapy startproject xxx)：新建一個新的爬蟲項目 2. 明確目標 （編寫items.py）：明確你想要抓取的目標 3. 制作爬蟲 （spiders/xxspider.py）：制作爬蟲開始爬取網頁 4. 存儲內容 （pipelines.py）：設計管道存儲爬取內容 ## 安裝 ### Windows 安裝方式 升級 pip 版本： ``` pip3 install --upgrade pip ``` 通過 pip 安裝 Scrapy 框架: ``` pip install Scrapy ``` ### Ubuntu 安裝方式 安裝非 Python 的依賴: ``` sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev ``` 通過 pip 安裝 Scrapy 框架： ``` sudo pip3 install scrapy ``` ### Mac OS 安裝方式 對于Mac OS系統來說，由于系統本身會引用自帶的python2.x的庫，因此默認安裝的包是不能被刪除的，但是你用python2.x來安裝Scrapy會報錯，用python3.x來安裝也是報錯，我最終沒有找到直接安裝Scrapy的方法，所以我用另一種安裝方式來說一下安裝步驟，解決的方式是就是使用virtualenv來安裝。 ``` $ sudo pip install virtualenv $ virtualenv scrapyenv $ cd scrapyenv $ source bin/activate $ pip install Scrapy ``` 安裝后，只要在命令終端輸入 scrapy，提示類似以下結果，代表已經安裝成功。