<ruby id="bdb3f"></ruby>

    <p id="bdb3f"><cite id="bdb3f"></cite></p>

      <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
        <p id="bdb3f"><cite id="bdb3f"></cite></p>

          <pre id="bdb3f"></pre>
          <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

          <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
          <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

          <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                <ruby id="bdb3f"></ruby>

                ??碼云GVP開源項目 12k star Uniapp+ElementUI 功能強大 支持多語言、二開方便! 廣告
                **1. 通過headers字段來反爬** headers中有很多字段,這些字段都有可能會被對方服務器拿過來進行判斷是否為爬蟲。 * 通過headers中的User-Agent字段來反爬 * 反爬原理:爬蟲默認情況下沒有User-Agent,而是使用模塊默認設置 * 解決方法:請求之前添加User-Agent即可;更好的方式是使用User-Agent池來解決(收集一堆User-Agent的方式,或者是隨機生成User-Agent) * 通過referer字段或者是其他字段來反爬 * 反爬原理:爬蟲默認情況下不會帶上referer字段,服務器端通過判斷請求發起的源頭,以此判斷請求是否合法 * 解決方法:添加referer字段 * 通過cookie來反爬 * 反爬原理:通過檢查cookies來查看發起請求的用戶是否具備相應權限,以此來進行反爬 * 解決方案:進行模擬登陸,成功獲取cookies之后在進行數據爬取 **2. 通過請求參數來反爬** 請求參數的獲取方法有很多,向服務器發送請求,很多時候需要攜帶請求參數,通常服務器端可以通過檢查請求參數是否正確來判斷是否為爬蟲。 * 通過從html靜態文件中獲取請求數據(github登錄數據) * 反爬原因:通過增加獲取請求參數的難度進行反爬 * 解決方案:仔細分析抓包得到的每一個包,搞清楚請求之間的聯系 * 通過發送請求獲取請求數據 * 反爬原因:通過增加獲取請求參數的難度進行反爬 * 解決方案:仔細分析抓包得到的每一個包,搞清楚請求之間的聯系,搞清楚請求參數的來源 * 通過js生成請求參數 * 反爬原理:js生成了請求參數 * 解決方法:分析js,觀察加密的實現過程,通過js2py獲取js的執行結果,或者使用selenium來實現 * 通過驗證碼來反爬 * 反爬原理:對方服務器通過彈出驗證碼強制驗證用戶瀏覽行為 * 解決方法:打碼平臺或者是機器學習的方法識別驗證碼,其中打碼平臺廉價易用,更值得推薦
                  <ruby id="bdb3f"></ruby>

                  <p id="bdb3f"><cite id="bdb3f"></cite></p>

                    <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
                      <p id="bdb3f"><cite id="bdb3f"></cite></p>

                        <pre id="bdb3f"></pre>
                        <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

                        <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
                        <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

                        <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                              <ruby id="bdb3f"></ruby>

                              哎呀哎呀视频在线观看