[TOC] * Colly Github:[https://github.com/gocolly/colly](https://github.com/gocolly/colly) * Colly 文檔:[https://pkg.go.dev/github.com...](https://pkg.go.dev/github.com/gocolly/colly/v2?tab=doc) * Crawlab Github:[https://github.com/crawlab-te...](https://github.com/crawlab-team/crawlab) * Crawlab 官網:[https://crawlab.cn](https://crawlab.cn/) * Crawlab 演示:[https://demo-pro.crawlab.cn](https://demo-pro.crawlab.cn/) ## 特性 * 清潔API * 快速（單個內核上> 1k請求/秒） * 管理請求延遲和每個域的最大并發 * 自動cookie和會話處理 * 同步/異步/并行抓取 * 分布式刮 * 快取 * 自動編碼非unicode響應 * Robots.txt支持 * Google App Engine支持 ## 與 Crawlab 可視化 ``` ? crawlab upload go.mod go.sum baidu_spider.go uploaded successfully ``` Crawlab 的爬蟲詳情界面中輸入執行命令`go run baidu_spider.go` 點擊運行 ## 實例 ### 官方實例 ``` func main() { c := colly.NewCollector() // Find and visit all links c.OnHTML("a[href]", func(e *colly.HTMLElement) { e.Request.Visit(e.Attr("href")) }) c.OnRequest(func(r *colly.Request) { fmt.Println("Visiting", r.URL) }) c.Visit("http://go-colly.org/") } ``` ### 百度top 熱點 ``` package main import ( "fmt" "github.com/gocolly/colly" ) func main() { c := colly.NewCollector() // 獲取所有的 href c.OnHTML(".title-content", func(e *colly.HTMLElement) { fmt.Printf("%+v\n", e.ChildText(".title-content-title")) }) c.OnRequest(func(r *colly.Request) { fmt.Println("Visiting", r.URL) }) c.Visit("http://www.baidu.com") } //輸出 //杜特爾特稱優先采購中俄疫苗 //黃子韜悼念爸爸 //云南瑞麗全員核酸檢測 //2020百度世界大會 //狗不理解除與王府井店加盟方合作 //關曉彤老虎菜拌魔芋粉 ``` ### 更多實例查看 官方例子 https://github.com/gocolly/colly/tree/master/_examples