[TOC] ## Crawlab [Crawlab](https://github.com/crawlab-team/crawlab) 是支持任何語言和框架的分布式爬蟲管理平臺，理論上能運行所有類型的爬蟲，包括 Colly 和 Scrapy。對 Crawlab 不了解的朋友可以查看 [Crawlab 官網](https://crawlab.cn) 以及 [Github 首頁](https://github.com/crawlab-team/crawlab))。 首先利用 [Crawlab CLI](https://docs.crawlab.cn/zh/SDK/CLI.html) 將爬蟲文件上傳。 ``` ~/projects/tikazyq/colly-crawlers/baidu(master*) ? crawlab upload go.mod go.sum baidu_spider.go uploaded successfully ```  等待一段時間，爬蟲運行結束。我們可以在日志中看到打印出來的結果。  并且，我們還可以在 “結果” 中查看抓取到的結果數據。這些結果是默認保存在 MongoDB 數據庫里的。