蜘蛛篇 · 基于thinkphp5小功能設計與實現

### 微軟 “msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)” msnbot，大多數已經被bingbot替代了，現在偶爾還可以看到。 “Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)” bing，必應 ### 搜搜 “Sosospider+(+http://help.soso.com/webspider.htm)” 騰訊搜搜 “Sosoimagespider+(+http://help.soso.com/soso-image-spider.htm)” 搜搜圖片 ### 雅虎 “Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)” 雅虎英文 “Yahoo! Slurp China” “Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)” 雅虎中國 ### 搜狗 “http://pic.sogou.com” “Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)” 搜狗圖片 “Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)” 搜狗，搜狗的蜘蛛程序做的很不好，總是進入死循環，已經分別在?[robots.txt](http://www.wilf.cn/post/robots.html "robots.txt 和 robots meta 標簽應用詳解")?和設置中屏蔽掉 ### Google “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)” Google “Googlebot-Image/1.0” Google圖片搜索 “Mediapartners-Google” 未知 “FeedBurner/1.0 (http://www.FeedBurner.com)” feedburner “AdsBot-Google-Mobile (+http://www.google.com/mobile/adsbot.html) Mozilla (iPhone; U; CPU iPhone OS 3 0 like Mac OS X) AppleWebKit (KHTML, like Gecko) Mobile Safari” Adwords移動網絡 ### 百度 “Baiduspider-image+(+http://www.baidu.com/search/spider.htm)” 百度圖片 “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)” 親愛的百度蜘蛛 “Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.8;baidu Transcoder) Gecko/20100722 Firefox/3.6.8 ( .NET CLR 3.5.30729)” baidu+Transcoder 是用戶用手機瀏覽網站留下的記錄，Transcoder 是代碼轉換器，把網站轉碼成手機用戶上網看到的網頁留下的記錄 ### 360 Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 360Spider 360搜索 ### 其他搜索引擎 “Mozilla/5.0 (compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/; )” 網易有道 “Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) Speedy Spider (http://www.entireweb.com/about/search\_tech/speedy\_spider/)” 來自瑞典的搜索引擎，網站看起來很不錯，http://www.entireweb.com ~“jikespider \\”Mozilla/5.0”~ 即刻搜索，原人民搜索，搜索引擎國家隊，已倒閉 “Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)” 俄羅斯yandex Mozilla/5.0 (compatible; EasouSpider; +http://www.easou.com/search/spider.html) 宜搜，不認識，一直不停抓取，已屏蔽 ### 其他已知bot “HuaweiSymantecSpider/1.0+DSE-support@huaweisymantec.com+(compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR ; http://www.huaweisymantec.com/cn/IRL/spider)” 華為賽門鐵克蜘蛛，是華為賽門鐵克科技有限公司網頁信譽分析系統的一個頁面爬取程序，其作用是用于爬取互聯網網頁并進行信譽分析，從而檢查該網站上的是否含有惡意代碼。 [http://baike.baidu.com/view/5994606.htm](http://baike.baidu.com/view/5994606.htm) qiniu-imgstg-spider-1.0 七牛鏡像蜘蛛 “xFruits/1.0 (http://www.xfruits.com)” xFruits，聚合rss用的 Feedly/1.0 (+http://www.feedly.com/fetcher.html; like FeedFetcher-Google) Feedly，Google Reader 關閉后一直用這個 Mozilla/5.0 (compatible;YoudaoFeedFetcher/1.0;http://www.youdao.com/help/reader/faq/topic006/;1 subscribers;) 有道閱讀 FeedDemon/4.5 (http://www.feeddemon.com/; Microsoft Windows) 一款離線RSS閱讀器 “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; JianKongBao Monitor 1.1)” 監控寶 DNSPod-Monitor/2.0 DNSPod監控 “Mozilla 5.0 (compatible; Feedsky crawler /1.0; http://www.feedsky.com)” Feedsky “Xianguo.com 1 Subscribers” 鮮果 360spider(http://webscan.#) 360網站安全檢測 “yrspider Mozilla/5.0 (compatible; YRSpider; +http://www.yunrang.com/yrspider.html)” 云壤公司，http://www.yunrang.com/yrspider.html ### 其他未知bot “Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; EmbeddedWB 14.52 from: http://www.bsalsa.com/ EmbeddedWB 14.52; .NET CLR 2.0.50727)” 懷疑為發布SPAM用的，因為總是在獲取注冊頁面和驗證碼 Mozilla/5.0 (compatible; LinkpadBot/1.06; +http://www.linkpad.ru) LinkpadBot，看域名知道是來自俄羅斯的 Mozilla/5.0 (compatible; SISTRIX Crawler; http://crawler.sistrix.net/) 又一個國外的 “Mozilla/5.0 (compatible; MJ12bot/v1.4.0; http://www.majestic12.co.uk/bot.php?+)” 來自英國的未知bot “Mozilla/5.0 (compatible; Ezooms/1.0;?ezooms.bot@gmail.com)” 未知 “IS Alpha/Nutch-1.1” 未知 Nutch Spider/Nutch-2.2.1 貌似是上面那個進化來的 “BlogPulseLive (support@blogpulse.com)” “findlinks/2.0.2 (+http://wortschatz.uni-leipzig.de/findlinks/)” 來自德國的未知bot “Mozilla/4.0 (compatible; MSIE 6.0;?AugustBot/augstbot@163.com)” 未知，貌似與網易有關 “InternetSeer.com” 未知 “Mozilla/5.0 (compatible; DotBot/1.1; http://www.dotnetdotcom.org/,?crawler@dotnetdotcom.org)” 未知，已更新為下面的 Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot,?help@moz.com) DotBot，不認識 “http://www.internet-zarabotok.net/” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; Win64; AMD64)” 來自俄羅斯的未知bot Mozilla/5.0 (X11; U; Linux x86\_64; en-US; rv:1.9.0.19; aggregator:Spinn3r (Spinn3r 3.1); http://spinn3r.com/robot) Gecko/2010040121 Firefox/3.0.19 Spinn3r，不認識 Mozilla/5.0 (compatible; Exabot/3.0; +http://www.exabot.com/go/robot) Exabot，還是不認識 Mozilla/5.0 (compatible; Exabot/3.0 (BiggerBetter); +http://www.exabot.com/go/robot) Exabot，不認識 psbot/0.1 (+http://www.picsearch.com/bot.html) psbot，不認識 TurnitinBot/3.0 (http://www.turnitin.com/robot/crawlerinfo.html) TurnitinBot，不認識### 微軟 “msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)” msnbot，大多數已經被bingbot替代了，現在偶爾還可以看到。 “Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)” bing，必應 ### 搜搜 “Sosospider+(+http://help.soso.com/webspider.htm)” 騰訊搜搜 “Sosoimagespider+(+http://help.soso.com/soso-image-spider.htm)” 搜搜圖片 ### 雅虎 “Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)” 雅虎英文 “Yahoo! Slurp China” “Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)” 雅虎中國 ### 搜狗 “http://pic.sogou.com” “Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)” 搜狗圖片 “Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)” 搜狗，搜狗的蜘蛛程序做的很不好，總是進入死循環，已經分別在?[robots.txt](http://www.wilf.cn/post/robots.html "robots.txt 和 robots meta 標簽應用詳解")?和設置中屏蔽掉 ### Google “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)” Google “Googlebot-Image/1.0” Google圖片搜索 “Mediapartners-Google” 未知 “FeedBurner/1.0 (http://www.FeedBurner.com)” feedburner “AdsBot-Google-Mobile (+http://www.google.com/mobile/adsbot.html) Mozilla (iPhone; U; CPU iPhone OS 3 0 like Mac OS X) AppleWebKit (KHTML, like Gecko) Mobile Safari” Adwords移動網絡 ### 百度 “Baiduspider-image+(+http://www.baidu.com/search/spider.htm)” 百度圖片 “Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)” 親愛的百度蜘蛛 “Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.8;baidu Transcoder) Gecko/20100722 Firefox/3.6.8 ( .NET CLR 3.5.30729)” baidu+Transcoder 是用戶用手機瀏覽網站留下的記錄，Transcoder 是代碼轉換器，把網站轉碼成手機用戶上網看到的網頁留下的記錄 ### 360 Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 360Spider 360搜索 ### 其他搜索引擎 “Mozilla/5.0 (compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/; )” 網易有道 “Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) Speedy Spider (http://www.entireweb.com/about/search\_tech/speedy\_spider/)” 來自瑞典的搜索引擎，網站看起來很不錯，http://www.entireweb.com ~“jikespider \\”Mozilla/5.0”~ 即刻搜索，原人民搜索，搜索引擎國家隊，已倒閉 “Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)” 俄羅斯yandex Mozilla/5.0 (compatible; EasouSpider; +http://www.easou.com/search/spider.html) 宜搜，不認識，一直不停抓取，已屏蔽 ### 其他已知bot “HuaweiSymantecSpider/1.0+DSE-support@huaweisymantec.com+(compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR ; http://www.huaweisymantec.com/cn/IRL/spider)” 華為賽門鐵克蜘蛛，是華為賽門鐵克科技有限公司網頁信譽分析系統的一個頁面爬取程序，其作用是用于爬取互聯網網頁并進行信譽分析，從而檢查該網站上的是否含有惡意代碼。 [http://baike.baidu.com/view/5994606.htm](http://baike.baidu.com/view/5994606.htm) qiniu-imgstg-spider-1.0 七牛鏡像蜘蛛 “xFruits/1.0 (http://www.xfruits.com)” xFruits，聚合rss用的 Feedly/1.0 (+http://www.feedly.com/fetcher.html; like FeedFetcher-Google) Feedly，Google Reader 關閉后一直用這個 Mozilla/5.0 (compatible;YoudaoFeedFetcher/1.0;http://www.youdao.com/help/reader/faq/topic006/;1 subscribers;) 有道閱讀 FeedDemon/4.5 (http://www.feeddemon.com/; Microsoft Windows) 一款離線RSS閱讀器 “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; JianKongBao Monitor 1.1)” 監控寶 DNSPod-Monitor/2.0 DNSPod監控 “Mozilla 5.0 (compatible; Feedsky crawler /1.0; http://www.feedsky.com)” Feedsky “Xianguo.com 1 Subscribers” 鮮果 360spider(http://webscan.#) 360網站安全檢測 “yrspider Mozilla/5.0 (compatible; YRSpider; +http://www.yunrang.com/yrspider.html)” 云壤公司，http://www.yunrang.com/yrspider.html ### 其他未知bot “Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; EmbeddedWB 14.52 from: http://www.bsalsa.com/ EmbeddedWB 14.52; .NET CLR 2.0.50727)” 懷疑為發布SPAM用的，因為總是在獲取注冊頁面和驗證碼 Mozilla/5.0 (compatible; LinkpadBot/1.06; +http://www.linkpad.ru) LinkpadBot，看域名知道是來自俄羅斯的 Mozilla/5.0 (compatible; SISTRIX Crawler; http://crawler.sistrix.net/) 又一個國外的 “Mozilla/5.0 (compatible; MJ12bot/v1.4.0; http://www.majestic12.co.uk/bot.php?+)” 來自英國的未知bot “Mozilla/5.0 (compatible; Ezooms/1.0;?ezooms.bot@gmail.com)” 未知 “IS Alpha/Nutch-1.1” 未知 Nutch Spider/Nutch-2.2.1 貌似是上面那個進化來的 “BlogPulseLive (support@blogpulse.com)” “findlinks/2.0.2 (+http://wortschatz.uni-leipzig.de/findlinks/)” 來自德國的未知bot “Mozilla/4.0 (compatible; MSIE 6.0;?AugustBot/augstbot@163.com)” 未知，貌似與網易有關 “InternetSeer.com” 未知 “Mozilla/5.0 (compatible; DotBot/1.1; http://www.dotnetdotcom.org/,?crawler@dotnetdotcom.org)” 未知，已更新為下面的 Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot,?help@moz.com) DotBot，不認識 “http://www.internet-zarabotok.net/” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; Win64; AMD64)” 來自俄羅斯的未知bot Mozilla/5.0 (X11; U; Linux x86\_64; en-US; rv:1.9.0.19; aggregator:Spinn3r (Spinn3r 3.1); http://spinn3r.com/robot) Gecko/2010040121 Firefox/3.0.19 Spinn3r，不認識 Mozilla/5.0 (compatible; Exabot/3.0; +http://www.exabot.com/go/robot) Exabot，還是不認識 Mozilla/5.0 (compatible; Exabot/3.0 (BiggerBetter); +http://www.exabot.com/go/robot) Exabot，不認識 psbot/0.1 (+http://www.picsearch.com/bot.html) psbot，不認識 TurnitinBot/3.0 (http://www.turnitin.com/robot/crawlerinfo.html) TurnitinBot，不認識 ``` ??static?String[]?spiders?=?{?"Sogou",?"Googlebot",?"MJ12bot",?"YodaoBot",?"Yahoo!",?"Sosospider", ??????"Baiduspider",?"msnbot-media",?"Sosoimagespider",?"Feedfetcher-Google", ??????"Mediapartners-Google",?"Googlebot-Image",?"ia_archiver",?"sohu-search", ??????"Oracle?Ultra?Search",?"ASPSeek",?"YahooSeeker",?"Baidu-Transcoder/",?"Sosoimagespider"?}; ``` ``` <?php $botlist=array ( 1 => array ( 'name' => '百度', 'biaoji' => 'baiduspider', ), 2 => array ( 'name' => '谷歌', 'biaoji' => 'googlebot', ), 3 => array ( 'name' => '搜狗', 'biaoji' => 'sogou spider', ), 4 => array ( 'name' => '雅虎', 'biaoji' => 'slurp', ), 5 => array ( 'name' => 'MSN', 'biaoji' => 'msnbot', ), 6 => array ( 'name' => '搜狐', 'biaoji' => 'sohu-search', ), 7 => array ( 'name' => '有道', 'biaoji' => 'youdaobot', ), 8 => array ( 'name' => 'SOSO', 'biaoji' => 'sosospider', ), 9 => array ( 'name' => 'Alexa', 'biaoji' => 'alexa', ), ); $useragent=strtolower($_SERVER['HTTP_USER_AGENT']); foreach($botlist as $k=>$v){ if(stripos($useragent,$botlist[$k]['biaoji'])!==false){ SpiderRecord($botlist[$k]['name']); } } function SpiderRecord($spider=''){ $ip=getonlineip(); $logFormat = "%date $spider %ip %url"; date_default_timezone_set("PRC"); $Spiders = str_replace(explode(' ', $logFormat), array( "time:".date('Y-m-d H:i:s'), "|| spider:".$spider, "|| ip:".$ip, "|| url:".$_SERVER['HTTP_HOST'].$_SERVER["PHP_SELF"] . "?" . $_SERVER["QUERY_STRING"], ), $logFormat); $fileName=$spider.date('Ym').'.log'; return file_put_contents(__dir__.DIRECTORY_SEPARATOR.$fileName, $Spiders . "\r\n", FILE_APPEND); } function getonlineip(){ if(isset($_SERVER['REMOTE_ADDR']) && $_SERVER['REMOTE_ADDR'] && strcasecmp($_SERVER['REMOTE_ADDR'], 'unknown')){ $ip = $_SERVER['REMOTE_ADDR']; }elseif(getenv('HTTP_CLIENT_IP') && strcasecmp(getenv('HTTP_CLIENT_IP'), 'unknown')){ $ip = getenv('HTTP_CLIENT_IP'); }elseif(getenv('HTTP_X_FORWARDED_FOR') && strcasecmp(getenv('HTTP_X_FORWARDED_FOR'), 'unknown')){ $ip = getenv('HTTP_X_FORWARDED_FOR'); }elseif(getenv('REMOTE_ADDR') && strcasecmp(getenv('REMOTE_ADDR'), 'unknown')){ $ip = getenv('REMOTE_ADDR'); } preg_match("/[\d\.]{7,15}/", isset($ip) ? $ip : NULL, $match); return isset($match[0]) ? $match[0] : 'unknown'; } ```