<ruby id="bdb3f"></ruby>

    <p id="bdb3f"><cite id="bdb3f"></cite></p>

      <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
        <p id="bdb3f"><cite id="bdb3f"></cite></p>

          <pre id="bdb3f"></pre>
          <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

          <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
          <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

          <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                <ruby id="bdb3f"></ruby>

                ??碼云GVP開源項目 12k star Uniapp+ElementUI 功能強大 支持多語言、二開方便! 廣告
                多臺服務器執行一個大型任務,就會有某一個小任務重復問題,比如服務器1下載了 http://www.baidu.com/test.png 這張圖片,如果不去重則服務器2也會下載這張圖片。 <br/> scrapy_redis通過將 url 放在一個Redis數據庫的 list 數據類型中,并將這個Redis數據庫與所有相關的服務器共享,當服務器1的任務是下載 http://www.baidu.com/test.png 這張圖片,則將 http://www.baidu.com/test.png 從Redis數據庫的 list 刪除(pop),所以其它服務器就不會重復執行這個任務了。 ![](https://img.kancloud.cn/c4/eb/c4ebbf820b755e97adedaae7addb22a9_1236x585.jpg) 1. 分布式爬蟲可以有任意個節點,但是始終只有一個Redis數據庫; 2. 三個服務器通過調度器將url放入集合中去重,如果集合中判斷該url還沒有被執行,則將這個url放入任務隊列中等待執行;如果已被執行,則該url被忽略; 3. 數據隊列:這個可有可無,它存在的目的是方便不同服務器將數據保存到同一個Redis數據庫,這個數據隊列就是我們任務的總數; 4. 資源分配:分配策略就是搶占,三個服務器根據自身速度搶占任務,誰先搶到這個任務就由誰執行。
                  <ruby id="bdb3f"></ruby>

                  <p id="bdb3f"><cite id="bdb3f"></cite></p>

                    <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
                      <p id="bdb3f"><cite id="bdb3f"></cite></p>

                        <pre id="bdb3f"></pre>
                        <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

                        <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
                        <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

                        <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                              <ruby id="bdb3f"></ruby>

                              哎呀哎呀视频在线观看