[TOC] ## 1. 網站如何識別爬蟲？ ### 1.1 方法1：http日志和流量分析，如果單位時間內某個IP訪問頻率和流量超過特定閾值就可以界定為爬蟲。 ### 1.2 方法2：Headers參數檢測 Scrapy學習筆記(6)-反爬蟲與反反爬蟲策略  上圖是瀏覽器正常訪問站點時發送的數據包，可以看到Request Headers里面有一堆參數，目標站點可以檢測User-Agent或者Referer參數的值來判斷是否為爬蟲，順便提一下Referer參數也可以防盜鏈。 ### 1.3 方法3：在網頁源碼內放置一個對瀏覽器不可見的鏈接，正常用戶使用瀏覽器是看不到該鏈接的當然也不會去點擊，如果檢測到該鏈接被點擊，來訪IP就會被界定為爬蟲。 講完了爬蟲識別方法，下面開始講反爬蟲策略 1.臨時或永久封禁來訪ip 2.返回驗證碼 3.異步加載(ajax) 4.爬蟲陷阱 ## 2. 爬取流程 爬取策略、抓取字段、動態網頁抓取方法、分布式結構、系統監測和數據存儲  誤傷：反爬蟲技術將普通用戶識別為爬蟲，這種情況多出現在封ip中，例如學校網絡、小區網絡再或者網絡網絡都是共享一個公共ip，這個時候如果是封ip就會導致很多正常訪問的用戶也無法獲取到數據。所以相對來說封ip的策略不是特別好，通常都是禁止某ip一段時間訪問。