多臺服務器執行一個大型任務，就會有某一個小任務重復問題，比如服務器1下載了 http://www.baidu.com/test.png 這張圖片，如果不去重則服務器2也會下載這張圖片。 <br/> scrapy_redis通過將 url 放在一個Redis數據庫的 list 數據類型中，并將這個Redis數據庫與所有相關的服務器共享，當服務器1的任務是下載 http://www.baidu.com/test.png 這張圖片，則將 http://www.baidu.com/test.png 從Redis數據庫的 list 刪除（pop），所以其它服務器就不會重復執行這個任務了。  1. 分布式爬蟲可以有任意個節點，但是始終只有一個Redis數據庫； 2. 三個服務器通過調度器將url放入集合中去重，如果集合中判斷該url還沒有被執行，則將這個url放入任務隊列中等待執行；如果已被執行，則該url被忽略； 3. 數據隊列：這個可有可無，它存在的目的是方便不同服務器將數據保存到同一個Redis數據庫，這個數據隊列就是我們任務的總數； 4. 資源分配：分配策略就是搶占，三個服務器根據自身速度搶占任務，誰先搶到這個任務就由誰執行。