從0開始搭建分布式爬蟲,理解分布式系統設計思想
原生代碼構建爬蟲系統,層層遞進,讓你學的更快更深入
1
單任務爬蟲
應用廣度優先算法框架,嵌入數
據爬取,信息提取等邏輯
實現基本爬蟲任務
2
并發式爬蟲
利用Go在并發性上的天然優勢
實現爬蟲任務的分發和調度完
成并發需求
3
分布式爬蟲
使用rpc,分離并獨立單機版中
的并發任務,實現分布式爬蟲
4
數據存儲和展示
使用Docker+ElasticSearch
搭建數據存儲后端
使用Go語言模板庫
實現數據展示