**一、Apache**
**①、通過修改 .htaccess 文件**
修改網站目錄下的.htaccess,添加如下代碼即可(2 種代碼任選):
可用代碼 (1):
```
RewriteEngine?On
RewriteCond?%{HTTP\_USER\_AGENT}?(^$|FeedDemon|Indy?Library|Alexa?Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft?URL?Control|Swiftbot|ZmEu|oBot|jaunty|Python–urllib|lightDeckReports?Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms)?\[NC\]?
RewriteRule?^(.\*)$?–?\[F\]
```
可用代碼 (2):
```
SetEnvIfNoCase?^User–Agent$?.\*(FeedDemon|Indy?Library|Alexa?Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft?URL?Control|Swiftbot|ZmEu|oBot|jaunty|Python–urllib|lightDeckReports?Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms)?BADBOT?
Order?Allow,Deny?
Allow?fromall
Deny?from?env=BADBOT
```
**②、通過修改 httpd.conf 配置文件**
找到如下類似位置,根據以下代碼 新增 / 修改,然后重啟 Apache 即可:
```
DocumentRoot?/home/wwwroot/xxx?
SetEnvIfNoCase?User–Agent?“.\*(FeedDemon|Indy?Library|Alexa?Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft?URL?Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports?Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms)”?BADBOT?
????????Order?allow,deny?
????????Allow?fromall
???????deny?from?env=BADBOT?
```
**二、Nginx 代碼**
進入到 nginx 安裝目錄下的 conf 目錄,將如下代碼保存為 agent\_deny.conf
```
cd?/usr/local/nginx/conf?
vim?agent\_deny.conf
```
```
#禁止Scrapy等工具的抓取?
if?($http\_user\_agent?~\*?(Scrapy|Curl|HttpClient))?{?
?????return?403;?
}?
#禁止指定UA及UA為空的訪問?
if?($http\_user\_agent?~\*?“FeedDemon|Indy?Library|Alexa?Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft?URL?Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports?Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$”?)?{?
????return?403;?????????????
}?
#禁止非GET|HEAD|POST方式的抓取?
if?($request\_method?!~?^(GET|HEAD|POST)$)?{?
????return?403;?
}
```
然后,在網站相關配置中的 location / { 之后插入如下代碼:
**Shell**
```
include?agent\_deny.conf;?
```
如下的配置:
**Shell**
```
\[marsge@Mars\_Server?~\]$?cat?/usr/local/nginx/conf/zhangge.conf?
location?/?{?
????????try\_files?$uri?$uri/?/index.php?$args;?
????????#這個位置新增1行:?
????????include?agent\_deny.conf;?
????????rewrite?^/sitemap\_360\_sp.txt$?/sitemap\_360\_sp.php?last;?
. ????????rewrite?^/sitemap\_baidu\_sp.xml$?/sitemap\_baidu\_sp.php?last;?
. ????????rewrite?^/sitemap\_m.xml$?/sitemap\_m.php?last;?
```
保存后,執行如下命令,平滑重啟 nginx 即可:
Shell
```
/usr/local/nginx/sbin/nginx?–s?reload
```
**三、PHP 代碼**
將如下方法放到貼到網站入口文件 index.php 中的第一個
**PHP**
```
//獲取UA信息?
$ua?=?$\_SERVER\[‘HTTP\_USER\_AGENT’\];?
//將惡意USER\_AGENT存入數組?
$now\_ua?=?array(‘FeedDemon?‘,‘BOT/0.1?(BOT?for?JCE)’,‘CrawlDaddy?‘,‘Java’,‘Feedly’,‘UniversalFeedParser’,‘ApacheBench’,‘Swiftbot’,‘ZmEu’,‘Indy?Library’,‘oBot’,‘jaunty’,‘YandexBot’,‘AhrefsBot’,‘MJ12bot’,‘WinHttp’,‘EasouSpider’,‘HttpClient’,‘Microsoft?URL?Control’,‘YYSpider’,‘jaunty’,‘Python-urllib’,‘lightDeckReports?Bot’);?
//禁止空USER\_AGENT,dedecms等主流采集程序都是空USER\_AGENT,部分sql注入工具也是空USER\_AGENT?
if(!$ua)?{?
????header(“Content-type:?text/html;?charset=utf-8”);?
????die(‘請勿采集本站,因為采集的站長木有小JJ!’);?
}else{?
????foreach($now\_ua?as?$value?)?
//判斷是否是數組中存在的UA?
????if(eregi($value,$ua))?{?
????????header(“Content-type:?text/html;?charset=utf-8”);?
????????die(‘請勿采集本站,因為采集的站長木有小JJ!’);?
????}?
}
```
**四、測試效果**
模擬宜搜蜘蛛抓取:
**Shell**
```
curl?–I?–A?‘YisouSpider’?bizhi.bcoderss.com?
```
模擬 UA 為空的抓取:
**Shell**
```
curl?–I?–A?”?bizhi.bcoderss.com?
```
模擬百度蜘蛛的抓取:
**Shell**
```
curl?–I?–A?‘Baiduspider’?bizhi.bcoderss.com
```
- 序言
- 基礎知識
- thinkphp基礎知識
- Thinkphp5CURD
- 數據庫創建
- 數據庫刪除
- 數據庫更新
- 數據庫查詢
- thinkphp5控制器
- 空操作空控制器
- 控制器基類
- 請求信息
- 行為和鉤子
- thinkphp5路由設置
- 變量路由
- 常用方法清單
- 環境搭建
- lnmp
- 升級php
- window環境
- Thinkphp小案例
- 分類管理
- 數據庫設計
- 模型
- 控制器
- 視圖
- 文件上傳
- 上傳接口
- 視圖
- 表單提交
- 視圖設計
- 控制器
- 權限控制
- 案例解釋說明
- 登錄驗證
- Laravel5.3登錄模式
- redis使用
- 一鍵安裝
- 程序設計與實現
- 頁面設計
- 功能設計
- 安裝功能實際
- 函數庫
- 配置文件
- 清除緩存
- 狀態值修改
- 數據庫備份還原
- controller.php
- common.php
- index.html
- importlist.html
- 完整的增刪查改
- 查詢語句
- 多語言支持
- JpGraph圖表類庫
- 微信支付
- payBase.php
- Order.php
- Oauth.php
- Jspay.php
- 下載遠程地址中的圖片
- URL重寫隱藏入口文件
- 圖片水印
- 整合百度編輯器
- Ueditor
- ueditor完整配置項
- 配置信息常見的方式
- HTTP 斷點續傳(PHP實現)
- layui.upload上傳文件或圖片
- QQ微信域名防封 預防域名封禁 強制跳轉至瀏覽器
- 蜘蛛篇
- 超簡單實現php谷歌驗證
- 采集金山詞霸每日一句
- think-swoole
- 原生PHP小案例
- 查詢修改數據庫
- mysql支付回調源碼
- pdo連接微信退款
- 前端小案例
- html快捷查詢
- layui經驗總結
- layui 表單增強插件
- Vue列表Ajax實戰教程
- PHP基礎
- 類的自動載入
- php基礎函數- 字符串函數
- php基礎函數-數學函數
- php基礎函數-數組函數
- PHP常見排序算法學習
- 請求第三方
- 從網絡下載文件
- 檢查網站是否宕機
- file_get_contents
- 算法
- php 抽獎算法(適合九宮格和大轉盤)
- 自己動手豐衣足食
- 入口文件
- start.php
- app.php
- load.php
- route.php
- JqHttp
- Jqfile
- Jqutil
- pdo連接數據庫類
- 常見的php類
- php數據接口類
- 生成多層樹狀下拉選框的工具模型
- 上傳下載類
- 微信用戶相關類
- Zip壓縮類
- 列表樹生成工具類
- 日期時間操作類
- 文件及文件夾處理類
- 字符串處理類
- php守護進程類
- RSA算法類
- php支持中英文的加密解密類
- CURL多線程請求
- 通用數據庫操作類
- 緩存類
- cookie類
- 常見的驗證方法
- 隨機密鑰
- 日志Log
- php-redis 操作類 封裝
- OpensslRsa 加密、解密、簽名、驗簽類
- 模板輸出類
- 發送郵件
- 封裝的mysqli類
- PHP時間段分割類庫
- PHP apk解包識版本號信息和ipa包信息
- 訪問客戶端信息
- http請求
- PHP 無數據庫讀寫配置文件
- 自己動手寫一個jwt類
- php實現對圖片對稱加解密(適用身份證加密等場景)
- 常見php函數
- 無限分類
- 獲取文章圖片
- 加密解密
- JSON數據輸出(適合在tp中)
- 刪除目錄和文件
- 判斷是否為手機訪問
- 獲取客戶端真實IP
- 隨機生成ip地址
- 字符串與二進制進行轉換
- 對數組進行排序
- 格式化字節大小
- 時間戳格式化
- 獲取數據的所有子孫數據的id值
- 取得視頻文件的縮略圖
- 圖片裁剪函數
- 按照每過0:00算一天
- 下載文件
- PHP隨機密碼生成
- 判斷數字大小
- 報文組成
- 通過ip定位城市
- PDO方式連接MySQL數據庫
- 數組與xml
- php字符串處理函數
- 判斷是否ajax提交
- 生成概率,用于抽獎
- 斷點續傳
- PHP使用星號替代用戶名手機和郵箱
- 獲取毫秒級別的時間戳
- php日志函數
- 隨機顏色生成器
- 時間差異計算函數
- 黑名單過濾
- 常見PHP 正則表達式
- php獲取瀏覽器類型
- 郵件發送
- 獲取qq昵稱
- 正則獲取手機號歸屬地
- 判斷是否是移動客戶端 移動設備
- gbk和utf8編碼自動識別方法
- 人性化時間顯示
- 請求API接口
- 數據庫備份
- PHP并發下安全讀寫文件函數
- PHP讀取exe軟件版本號
- PHP為任意頁面設置訪問密碼
- PHP利用百度當圖床
- 秒/分鐘/小時前
- 常見的js函數
- 短信驗證函數
- 上下收縮菜單
- jQuery 樹插件zTree
- 頁面刷新跳轉
- jquery導出報表
- js實現定時效果
- 獲取當前經緯度
- JQuery實現圖片大小自適應
- 網站運行時間
- 判斷瀏覽器類型
- 百度推送
- js對指定數據進行排序
- 常見工具方法
- JSPinyin
- 技術相關文章
- 高級PHP工程師所應該具備哪些技能
- 最簡潔的PHP程序員學習路線及建議
- 優化PHP代碼的一些建議
- TP5性能優化建議
- 程序猿專用代碼注釋:佛祖保佑,永無BUG
- 一組匹配中國大陸手機號碼的正則表達式
- Apache/Nginx/PHP服務器反爬蟲代碼大全
- 番外
- 配置shadowsocks服務端
- python
- go
- 如何在1分鐘內黑掉任何網站!
- 百度貼吧敏感詞
- 貼吧手工養號發帖教程
- 搞笑的注釋代碼
- Heroku