**1. 通過headers字段來反爬** headers中有很多字段，這些字段都有可能會被對方服務器拿過來進行判斷是否為爬蟲。 * 通過headers中的User-Agent字段來反爬 * 反爬原理：爬蟲默認情況下沒有User-Agent，而是使用模塊默認設置 * 解決方法：請求之前添加User-Agent即可；更好的方式是使用User-Agent池來解決（收集一堆User-Agent的方式，或者是隨機生成User-Agent) * 通過referer字段或者是其他字段來反爬 * 反爬原理：爬蟲默認情況下不會帶上referer字段，服務器端通過判斷請求發起的源頭，以此判斷請求是否合法 * 解決方法：添加referer字段 * 通過cookie來反爬 * 反爬原理：通過檢查cookies來查看發起請求的用戶是否具備相應權限，以此來進行反爬 * 解決方案:進行模擬登陸，成功獲取cookies之后在進行數據爬取 **2. 通過請求參數來反爬** 請求參數的獲取方法有很多，向服務器發送請求，很多時候需要攜帶請求參數，通常服務器端可以通過檢查請求參數是否正確來判斷是否為爬蟲。 * 通過從html靜態文件中獲取請求數據(github登錄數據) * 反爬原因:通過增加獲取請求參數的難度進行反爬 * 解決方案:仔細分析抓包得到的每一個包，搞清楚請求之間的聯系 * 通過發送請求獲取請求數據 * 反爬原因：通過增加獲取請求參數的難度進行反爬 * 解決方案：仔細分析抓包得到的每一個包，搞清楚請求之間的聯系，搞清楚請求參數的來源 * 通過js生成請求參數 * 反爬原理：js生成了請求參數 * 解決方法：分析js，觀察加密的實現過程，通過js2py獲取js的執行結果，或者使用selenium來實現 * 通過驗證碼來反爬 * 反爬原理：對方服務器通過彈出驗證碼強制驗證用戶瀏覽行為 * 解決方法：打碼平臺或者是機器學習的方法識別驗證碼，其中打碼平臺廉價易用，更值得推薦