網絡爬蟲 · 項目列表

**[Crawler](https://git.oschina.net/apollozhu/org.iipg.crawler)** 網絡爬蟲，使用模板文件進行數據抽取，使用HurricaneDB進行數據存儲。 ``` git@git.oschina.net:apollozhu/org.iipg.crawler.git ``` ![](https://box.kancloud.cn/726b976e5ab1f12be23db714920f2e1a_1034x321.png) **[Crawler RCP](https://git.oschina.net/apollozhu/org.iipg.crawler-gui)** Eclipse RCP客戶端，用于抓取指定頁面并分析，生成抓取模板，該模板可被后臺抓取爬蟲使用。 ``` git@git.oschina.net:apollozhu/org.iipg.crawler-gui.git ``` ![](https://box.kancloud.cn/83cea192100801a965f7f73968a28a6a_1029x568.png) **[WebCrawler模板](https://git.oschina.net/apollozhu/webcrawler)** 網絡爬蟲使用的模板文件示例。 ``` git@git.oschina.net:apollozhu/webcrawler.git ``` ![](https://box.kancloud.cn/49a02d430e27362cd51734a4aacbbb33_1027x295.png) **[聚合新聞頁面](https://git.oschina.net/apollozhu/site.crawler)** 展示網絡爬蟲抓取的新聞內容，使用Ajax直接訪問Solr服務。 ``` git@git.oschina.net:apollozhu/site.crawler.git ``` ![](https://box.kancloud.cn/1b7b6eb2ee6ffff69f7d505cafe0279e_1036x665.png)