# 1.9 布署相關庫的安裝 如果想要大規模抓取數據，那么一定會用到分布式爬蟲，對于分布式爬蟲來說，我們一定需要多臺主機，每臺主機多個爬蟲任務，但是源代碼其實只有一份。那么我們需要做的就是將一份代碼同時部署到多臺主機上來協同運行。 對于 Scrapy 來說，它有一個擴展組件叫做 Scrapyd，我們只需要安裝 Scrapyd 即可遠程管理 Scrapy 任務，包括部署源碼、啟動任務、監聽任務等操作。另外還有 ScrapydClient 和 ScrapydAPI 來幫助我們更方便地完成部署和監聽操作。 另外還有一種部署方式就是 Docker 集群部署，我們只需要將爬蟲制作為 Docker 鏡像，只要主機安裝了 Docker，就可以直接運行爬蟲，而無需再去擔心環境配置、版本問題。