* 十分低級的應屆畢業生 應屆畢業生的爬蟲通常簡單粗暴，根本不管服務器壓力，加上人數不可預測，很容易把站點弄掛。 * 十分低級的創業小公司 現在的創業公司越來越多，也不知道是被誰忽悠的然后大家創業了發現不知道干什么好，覺得大數據比較熱，就開始做大數據。分析程序全寫差不多了，發現自己手頭沒有數據。怎么辦?寫爬蟲爬啊。于是就有了不計其數的小爬蟲，出于公司生死存亡的考慮，不斷爬取數據。 * 不小心寫錯了沒人去停止的失控小爬蟲 有些網站已經做了相應的反爬，但是爬蟲依然孜孜不倦地爬取。什么意思呢?就是說，他們根本爬不到任何數據，除了httpcode是200以外，一切都是不對的，可是爬蟲依然不停止這個很可能就是一些托管在某些服務器上的小爬蟲，已經無人認領了，依然在辛勤地工作著。 * 成型的商業對手 這個是最大的對手，他們有技術，有錢，要什么有什么，如果和你死磕，你就只能硬著頭皮和他死磕。 * 抽風的搜索引擎 大家不要以為搜索引擎都是好人，他們也有抽風的時候，而且一抽風就會導致服務器性能下降，請求量跟網絡攻擊沒什么區別。