# 1.8.2 Scrapy的安裝 ## 1. 相關鏈接 {#1-相關鏈接} * 官方網站：[https://scrapy.org](https://scrapy.org/) * 官方文檔：[https://docs.scrapy.org](https://docs.scrapy.org/) * PyPi：[https://pypi.python.org/pypi/Scrapy](https://pypi.python.org/pypi/Scrapy) * GitHub：[https://github.com/scrapy/scrapy](https://github.com/scrapy/scrapy) * 中文文檔：[http://scrapy-chs.readthedocs.io](http://scrapy-chs.readthedocs.io/) ## 2. Anaconda安裝 {#2-anaconda安裝} 如果已經安裝好了 Anaconda，那么可以通過 conda 命令安裝 Scrapy，安裝命令如下： ```text conda install Scrapy ``` 運行之后便可以完成 Scrapy 的安裝。 ## 3. Windows下的安裝 {#3-windows下的安裝} [所有工具可在這里下載](https://pan.baidu.com/s/1ZUb8WhkajsWkUlfDpRiBYg) ### 安裝lxml [lxml安裝](../1.3/131-lxmlde-an-zhuang.md) ### 安裝pyOpenSSL wheel文件下載地址:[https://pypi.python.org/pypi/pyOpenSSL\#downloads](https://pypi.python.org/pypi/pyOpenSSL#downloads)下載完成后安裝 ```text pip install pyOpenSSL-18.0.0-py2.py3-none-any.whl ``` ### 安裝Twisted {#安裝twisted} 下載 Wheel 文件:[http://www.lfd.uci.edu/~gohlke/pythonlibs/\#twisted](182-scrapyde-an-zhuang.md) 如 Python 3.6 版本，Windows 64 位系統，當前最新版本為 [Twisted?18.7.0?cp36?cp36m?win\_amd64.whl](javascript:;) 下載完后安裝 ```text pip install Twisted?18.7.0?cp36?cp36m?win_amd64.whl ``` ## 安裝PyWin32 {#安裝pywin32} 從官方網站下載對應版本的安裝包即可，鏈接為：[https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/](https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/) 如 Python 3.6 版本可以選擇下載 pywin32-221.win-amd64-py3.6.exe，下載完畢之后雙擊安裝即可。 注意這里使用的是 Build 221 版本，隨著時間推移，版本肯定會繼續更新，最新的版本可以查看：[https://sourceforge.net/projects/pywin32/files/pywin32/](https://sourceforge.net/projects/pywin32/files/pywin32/)，查找最新的版本安裝即可。 ### 安裝Scrapy {#安裝scrapy} ```text pip install scrapy ``` ## 4. Linux下的安裝 {#4-linux下的安裝} ### CentOS、RedHat {#centos、redhat} 首先確保一些依賴庫已經安裝，運行如下命令： ```text sudo yum groupinstall -y development tools sudo yum install -y epel-release libxslt-devel libxml2-devel openssl-devel ``` 最后利用 Pip 安裝 Scrapy 即可，運行如下命令： ```text pip3 install Scrapy ``` ### Ubuntu、Debian、Deepin {#ubuntu、debian、deepin} 首先確保一些依賴庫已經安裝，運行如下命令： ```text sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev ``` 然后利用 Pip 安裝 Scrapy 即可，運行如下命令： ```text pip3 install Scrapy ``` ## 5. Mac下的安裝 {#5-mac下的安裝} 在 Mac 上構建 Scrapy 的依賴庫需要 C 編譯器以及開發頭文件，它一般由 Xcode 提供，運行如下命令安裝即可： ```text xcode-select --install ``` 隨后利用 Pip 安裝 Scrapy 即可，運行如下命令： ```text pip3 install Scrapy ``` ## 6. 驗證安裝 {#6-驗證安裝} 安裝之后，在命令行下輸入 scrapy ```text scrapy ```  出現如上結果，就代表scrapy安裝成功了。 ## 7. 常見錯誤 {#7-常見錯誤} ### pkg\_resources.VersionConflict: \(six 1.5.2 \(/usr/lib/python3/dist-packages\), Requirement.parse\('six>=1.6.0'\)\) {#pkgresourcesversionconflict-six-152-usrlibpython3dist-packages-requirementparsesix160} six 包版本過低，six包是一個提供兼容 Python2 和 Python3 的庫，升級 six 包即可： ```text sudo pip3 install -U six ``` ### c/\_cffi\_backend.c:15:17: fatal error: ffi.h: No such file or directory {#ccffibackendc1517-fatal-error-ffih-no-such-file-or-directory} 這是在 Linux 下常出現的錯誤，缺少 Libffi 這個庫。什么是 libffi？“FFI” 的全名是 Foreign Function Interface，通常指的是允許以一種語言編寫的代碼調用另一種語言的代碼。而 Libffi 庫只提供了最底層的、與架構相關的、完整的”FFI”。 安裝相應的庫即可。 Ubuntu、Debian： ```text sudo apt-get install build-essential libssl-dev libffi-dev python3-dev ``` CentOS、RedHat: ```text sudo yum install gcc libffi-devel python-devel openssl-devel ``` ### Command "python setup.py egg\_info" failed with error code 1 in /tmp/pip-build/cryptography/ {#command-python-setuppy-egginfo-failed-with-error-code-1-in-tmppip-buildcryptography} 這是缺少加密的相關組件，利用Pip 安裝即可。 ```text pip3 install cryptography ``` ### ImportError: No module named 'packaging' {#importerror-no-module-named-packaging} 缺少 packaging 這個包，它提供了 Python 包的核心功能，利用 Pip 安裝即可。 ### ImportError: No module named '\_cffi\_backend' {#importerror-no-module-named-cffibackend} 缺少 cffi 包，使用 Pip 安裝即可： ```text pip3 install cffi ``` ### ImportError: No module named 'pyparsing' {#importerror-no-module-named-pyparsing} 缺少 pyparsing 包，使用 Pip 安裝即可： ```text pip3 install pyparsing appdirs ```