1.8.3 Scrapy-Splash的安裝 · python3爬蟲筆記

# 1.8.3 Scrapy-Splash的安裝 ScrapySplash 是一個 Scrapy 中支持 JavaScript 渲染的工。 ## 1. 相關鏈接 {#1-相關鏈接} * GitHub：[https://github.com/scrapy-plugins/scrapy-splash](https://github.com/scrapy-plugins/scrapy-splash) * PyPi：[https://pypi.python.org/pypi/scrapy-splash](https://pypi.python.org/pypi/scrapy-splash) * 使用說明：[https://github.com/scrapy-plugins/scrapy-splash\#configuration](https://github.com/scrapy-plugins/scrapy-splash#configuration) * Splash 官方文檔：[http://splash.readthedocs.io](http://splash.readthedocs.io/) ## 2. 安裝Splash {#2-安裝splash} 拉取鏡像 ``` docker pull scrapinghub/splash ``` ScrapySplash 會使用 Splash 的 HTTP API 進行頁面渲染，所以我們需要安裝 Splash 來提供渲染服務，安裝是通過[ Docker 安裝](../19-bu-shu-xiang-guan-ku-de-an-zhuang/191-dockerde-an-zhuang.md)，在這之前請確保已經正確安裝好了 Docker。安裝命令如下： ```text docker run -p 8050:8050 scrapinghub/splash ``` 安裝完成之后會有類似的輸出結果： ```text 2017-07-03 08:53:28+0000 [-] Log opened. 2017-07-03 08:53:28.447291 [-] Splash version: 3.0 2017-07-03 08:53:28.452698 [-] Qt 5.9.1, PyQt 5.9, WebKit 602.1, sip 4.19.3, Twisted 16.1.1, Lua 5.2 2017-07-03 08:53:28.453120 [-] Python 3.5.2 (default, Nov 17 2016, 17:05:23) [GCC 5.4.0 20160609] 2017-07-03 08:53:28.453676 [-] Open files limit: 1048576 2017-07-03 08:53:28.454258 [-] Can't bump open files limit 2017-07-03 08:53:28.571306 [-] Xvfb is started: ['Xvfb', ':1599197258', '-screen', '0', '1024x768x24', '-nolisten', 'tcp'] QStandardPaths: XDG_RUNTIME_DIR not set, defaulting to '/tmp/runtime-root' 2017-07-03 08:53:29.041973 [-] proxy profiles support is enabled, proxy profiles path: /etc/splash/proxy-profiles 2017-07-03 08:53:29.315445 [-] verbosity=1 2017-07-03 08:53:29.315629 [-] slots=50 2017-07-03 08:53:29.315712 [-] argument_cache_max_entries=500 2017-07-03 08:53:29.316564 [-] Web UI: enabled, Lua: enabled (sandbox: enabled) 2017-07-03 08:53:29.317614 [-] Site starting on 8050 2017-07-03 08:53:29.317801 [-] Starting factory <twisted.web.server.Site object at 0x7ffaa4a98cf8> ``` 這樣就證明 Splash 已經在 8050 端口上運行了。這時我們打開：[http://localhost:8050](http://localhost:8050/)即可看到 Splash 的主頁![](https://box.kancloud.cn/80bd89c04a17980bd018d54d8f9c2ab4_1540x721.png) 當然 Splash 也可以直接安裝在遠程服務器上，我們在服務器上運行以守護態運行 Splash 即可，命令如下： ```text docker run -d -p 8050:8050 scrapinghub/splash ``` 在這里多了一個 -d 參數，它代表將 Docker 容器以守護態運行，這樣在中斷遠程服務器連接后不會終止 Splash 服務的運行。 ## 3. ScrapySplash的安裝 {#3-scrapysplash的安裝} 成功安裝了 Splash 之后，我們接下來再來安裝一下其 Python 庫，安裝命令如下： ```text pip3 install scrapy-splash ```