# 17.4 服務器的其他應用設定 ## 17.4 服務器的其他應用設定 除了基本的 proxy 設定之外，如果你還有其他可供利用的上層代理服務器，說不定我們就能夠設計一下如何進行分流的動作了！ 此外，如果針對信任用戶來說，難道得要一直使用 acl 直接指定用戶來源然后再用 http\_access 放行？有沒有認證功能啊？ 這樣就不用一直修改設定啊！這些其它的應用設定在這個小節來談談吧！ - - - - - - ### 17.4.1 上層 Proxy 與獲取數據分流的設定 能夠找到的上層 proxy 服務器我們在 [17.1.3](#theory_parent_proxy) 里面談過了，你可以重新回去瞧瞧。 不過，假設你所在的環境并沒有上層代理服務器，但是你有兩部 Linux 主機放置在不同的 ISP 環境下， 這兩個 ISP 對某些國外的帶寬流量不同，所以你想要根據這樣的情況來設計一下獲取 WWW 網頁的分流時，可以怎么做？ 我們舉個例子來說好了： - hinet.centos.vbird：這部主機位于 hinet 這個 ISP 底下，對大陸 (.cn) 的流量比較高，作為上層代理服務器之用； - www.centos.vbird：這部主機位于學術網絡 (昆山科大)，因為對大陸帶寬被限制，因此瀏覽速度相對較慢。 現在我們規劃 hinet.centos.vbird 是上層代理服務器，因此這部主機得要開放 www.centos.vbird 這部機器的使用權， 這動作包括： (1)利用 acl srcdomian 等方式放行 www.centos.vbird 的使用權； (2)開放 www.centos.vbird 的 port 3128 的防火墻過濾功能。如此一來，我們這部 www.centos.vbird 才能夠使用上層代理服務器喔！也就是說，這兩部主機都要是你能夠掌握的才行 (至少也要上層 ISP 能夠替你開放使用權啦)。 那么 www.centos.vbird 要如何設定呢？基本上，設定上層代理服務器與分流的參數主要有： cache\_peer, cache\_peer\_domain, cache\_peer\_access 等，分別說明語法如下： - cache\_peer 的相關語法 ``` cache_peer [上層proxy主機名] [proxy角色] [proxy port] [icp port] [額外參數] ``` 這個設定值就是在規范上層代理服務器在哪里，以及我們想要對這部代理服務器如何查詢的相關設定值。 - 上層 proxy 主機名：例如本案例中就是 hinet.centos.vbird 這一部啰； - proxy 角色：這部 proxy 是我們的上層 (parent) ？還是作為我們鄰近 (sibling) 的協力運作的 proxy ？ 因為我們要利用上層去捉取數據，因此經常使用的是 parent 這個角色值； - proxy port：通常就是 3128 嘛！ - icp port：通常就是 3130 嘛！ - 額外參數：針對這部上層 proxy 我們想要對它進行的查詢數據的行為設定。主要有： - proxy-only：向上層 proxy 要到的數據不會快取到本地的 proxy 服務器內，降低本地 proxy 負擔； - wieght=n：權重的意思，因為我們可以指定多部上層 Proxy 主機，哪一部最重要？就可以利用這個 weight 來設定，n 越大表示這部 Proxy 越重要 - no-query：如果向上層 Proxy 要求資料時，可以不需要發送 icp 封包，以降低主機的負擔 - no-digest：表示不向附近主機要求建立 digest 紀錄表格 - no-netdb-exchange：表示不向附近的 Proxy 主機送出 imcp 的封包要求 - cache\_peer\_domain 的相關語法 ``` cache_peer_domain [上層proxy主機名] [要求的領域名] ``` 這個設定值的意思是說，你想要使用這部上層代理服務器向哪個領域名要求數據。 - cache\_peer\_access 的相關語法 ``` cache_peer_access [上層proxy主機名] [allow|deny] [acl名稱] ``` 與 cache\_peer\_domain 相當類似，只是 cache\_peer\_domain 直接規范了主機名 (domain name)， 而如果你想要設計的并非領域名，而是某些特定的 IP 網段時，就得要先用 acl 設計一個名稱后， 再以這個 cache\_peer\_access 去放行 (allow) 或拒絕 (deny) 讀取了。 根據上述的語法說明，那么我們想要達到 .cn 使用 hinet.centos.vbird 這部服務器的代理功能時， 應該要這樣設計的： ``` [root@www ~]# vim /etc/squid/squid.conf cache_peer hinet.centos.vbird parent 3128 3130 proxy-only no-query no-digest cache_peer_domain hinet.centos.vbird .cn [root@www ~]# /etc/init.d/squid reload ``` 如果你還有其它的需求再利用 acl 規范了目標位置后，再以 cache\_peer\_access 去放行吧！ 如此一來，你的 proxy server 就是一部會主動的依據不同的要求向不同的上層服務器求取數據的聰明 proxy 啰！ - - - - - - ### 17.4.2 Proxy 服務放在 NAT 服務器上：通透式代理 (Transparent Proxy) 從上面的說法來看，我們可以發現 proxy 可以做到類似防火墻的功能 (acl dst, acl dstdomain 再配合 http\_access 處理)， 但是，我們也知道瀏覽器得要設定好 proxy 之后，才會真的使用 proxy 嘛！那就不就是在耍寶用的防火墻嗎？ 只要你的用戶知道不要設定 proxy 就可以躲過你的管控，那這部 proxy 防火墻有啥屁用啊？您說是吧？ 那該如何強制使用者一定要使用你的 proxy 呢？很簡單！那就是： (1)在對外的防火墻服務器 (NAT) 上面安裝 proxy； (2)在 proxy 上頭啟動 transparent 功能； (3) NAT 服務器加上一條 port 80 轉 port 3128 的規則，如此一來，所有往 port 80 的封包就會被你的 NAT 轉向 port 3128 ， 而你的 port 3128 就是 proxy ，那大家就得要用你的 proxy ，而且重點是，瀏覽器不需要進行任何設定！ 呵呵！也就是說，當使用者是經過 NAT 服務器聯機出去時，只要讓 NAT 服務器發現『咦！你是要去捉 WWW 的資料對吧！好！那么這個動作由 Proxy 服務幫你搞定！』如此一來，使用者根本就不需要在瀏覽器上面設定 Proxy 的相關數據，因為這個動作是『由 NAT 服務器自己決定的』，所以只要在 NAT 服務器上面設定妥當即可，使用者不必設定任何數據呢！呵呵！真是不錯！而且進行的動作非常簡單！ ``` # 1\. 設定 proxy 成為通透式代理服務器的功能！ [root@www ~]# vim /etc/squid/squid.conf http_port 3128 transparent # 找到 3128 這行后，在最后面加上 transparent 即可 [root@www ~]# /etc/init.d/squid reload ``` 接下來，將來自 192.168.100.0/24 這個內網的來源，只要是要求 port 80 的，就將它重新導向 port 3128 的方式為： ``` [root@www ~]# vim /usr/local/virus/iptables/iptables.rule iptables -t nat -A PREROUTING -i $INIF -s 192.168.100.0/24 -p tcp \ --dport 80 -j REDIRECT --to-ports 3128 # 將上述這一行加在最底下 /etc/init.d/iptables save 的上面一行即可！ [root@www ~]# /usr/local/virus/iptables/iptables.rule ``` 這樣就結束啦！很簡單吧！通常這樣的環境相當適合學校內的教室或者是計中的環境， 因為這樣學校內部根本不需要請學生設定瀏覽器的 proxy 功能，立刻就能夠達到我們所需要的管控能力！很棒吧！ 不過，雖然這樣的功能已經很棒了，但是鳥哥實際用在學校教室環境中卻發現了一些問題， 那就是很多同學同時上傳同一個檔案到外部服務器去，因為 proxy 快取的功能，結果讓學生一直取得舊的檔案， 對于教網頁制作的老師來說，很困擾～因為教學過程中常常需要上傳最新的網頁嘛！但是 proxy 快取住， 所以卻得到錯誤的數據了～那怎辦？ - 僅具有 proxy 無快取功能的代理 既然我們這個 transparent proxy 的目的僅是在進行控管，并不要去處理快取的任務 (因為帶寬假設是夠的)， 那么干脆就不要快取啦！這樣不就 OK 啦？好吧！那我們就來搭配 transparent 進行這個設定看看。 假設 transparent proxy 已經設定妥當，那么接下來就是讓你的快取目錄空空如也，且再也不寫入任何資料。 此外，也不要有多余的內存來記錄熱門檔案啦！ ``` # 先關閉 squid ，然后刪除快取目錄，之后再重建快取目錄，此時快取目錄就空了 [root@www ~]# /etc/init.d/squid stop [root@www ~]# rm -rf /var/spool/squid/* [root@www ~]# vim /etc/squid/squid.conf cache_dir ufs /var/spool/squid 100 16 256 <u>read-only</u> #cache_dir ufs /srv/squid 2000 16 256 # 額外的那個 /srv/squid 批注掉，然后第一行多個 read-only 字樣！ cache_mem 0 MB # 本來規范有 32MB ，現在不要了！ [root@www ~]# /etc/init.d/squid start ``` 如此一來，這部 proxy 就再也沒有快取了，全部資料都得要自己向外頭捉取！就不會有舊數據重復出現的問題～ - - - - - - ### 17.4.3 Proxy 的認證設定 既然 proxy 有許多功用，包括分流的功能，很不賴啊！但是，由于網絡閑人越來越多，因此 proxy 不可以設計為 open proxy ！亦即是不能夠開放所有的人使用你的 proxy 啦！所以，一般來說， proxy 只會開放內部網域的人們來使用而已。 問題是，如果我在 Internet 也想要使用這部自己架設的 proxy 時，該如何是好？還得要再次的修改 squid.conf 嗎？ 有沒有這么麻煩？ 沒關系啦！為了這個問題， squid 官方軟件已經給予了認證的設定功能！意即我們可以透過認證來簡單的輸入賬號密碼， 若通過驗證，就可以立刻使用我們的 proxy 了！這樣就好多啦！那如何達成呢？其實 squid 提供很多認證功能， 我們需要的是最簡單的功能即可。使用的是 squid 主動提供的 ncsa\_auth 認證模塊，這個模塊會利用 apache (WWW 服務器) 提供的帳密建立指令 (htpasswd) 所制作的密碼文件作為驗證依據。所以，我們至少需要檢查有沒有這兩樣東西： ``` [root@www ~]# rpm -ql squid | grep ncsa /usr/lib64/squid/ncsa_auth <==有的！就是這個驗證模塊檔案！注意完整路徑 /usr/share/man/man8/ncsa_auth.8.gz [root@www ~]# yum install httpd <==apache 軟件安裝 [root@www ~]# rpm -ql httpd | grep htpasswd /usr/bin/htpasswd <==就是需要這個帳密建立指令！ /usr/share/man/man1/htpasswd.1.gz ``` 這樣的事前準備就差不多了。讓我們來考慮一個案例好了： - 內部網域 192.168.100.0/24 要使用 proxy 的，還是不需要透過驗證； - 外部主機想要使用 proxy (例如 192.168.1.0/24 這段) 才需要驗證； - 使用 NCSA 的基本身份驗證方式，且密碼文件建立在 /etc/squid/squid\_user.txt - 上述檔案僅有一個用戶 vbird ，他的密碼為 1234 那該如何處理呢？開始來一步一步進行吧： ``` # 1\. 先修改 squid.conf 檔案內容 [root@www ~]# vim /etc/squid/squid.conf # 1.1 先設定驗證相關的參數 auth_param basic program /usr/lib64/squid/ncsa_auth /etc/squid/squid_user.txt auth_param basic children 5 auth_param basic realm Welcome to VBird's proxy-only web server # 非特殊字體為關鍵詞不可更動，第一行為透過 ncsa_auth 讀取 squid_user.txt 密碼 # 第二行為啟動 5 個程序 (squid 的子程序) 來管理驗證的需求； # 第三行為驗證時，顯示給用戶看的歡迎訊息，這三行可寫在最上面！ # 1.2 然后是針對驗證功能放行與否的 acl 與 http_access 設定 acl vbirdlan src 192.168.100.0/24 <==修改一下，取消 192.168.1.0/24 acl dropdomain dstdomain "/etc/squid/dropdomain.txt" acl dropsex urlpath_regex /sexy.*jpg$ acl squid_user proxy_auth REQUIRED <==建立一個需驗證的 acl 名稱 http_access deny dropdomain http_access deny dropsex http_access allow vbirdlan http_access allow squid_user <==請注意這樣的規則順序喔！驗證在最后 # 2\. 建立密碼數據 [root@www ~]# htpasswd -c /etc/squid/squid_user.txt vbird New password: Re-type new password: Adding password for user vbird # 第一次建立才需要加上 -c 的參數，否則不需要加上 -c 喔！ [root@www ~]# cat /etc/squid/squid_user.txt vbird:vRC9ie/4E21c. <==這就是用戶與密碼啰！ [root@www ~]# /etc/init.d/squid restart ``` 比較需要注意『acl squid\_user proxy\_auth REQUIRED』這一串設定，proxy\_auth 是關鍵詞，而 REQUIRED 則是指定任何在密碼文件內的用戶都能夠使用驗證的意思。如果一切順利的話，那么你的內網依舊可以使用 transparent proxy ， 而外網則需要輸入賬密才能夠使用 proxy server 提供的代理能力。至于驗證的過程有點像這樣：  圖 17.4-1、使用 proxy 需驗證的示意圖 上圖中箭頭 1 為剛剛你設定的 real 內容，而帳密則是你用 htpasswd 所建立的數據啦！另外，既然已經加上了驗證功能， 那么你可能得要將防火墻開放 port 3128 對全世界監聽的過濾才行呦！防火墻還是不要忘記了！ ^\_^ - - - - - - ### 17.4.4 末端登錄檔分析： sarg 事實上， squid 已經收集了眾多的登錄文件分析軟件了，而且大多是免費的 (<http://www.squid-cache.org/Scripts/>) ，你可以依照自己的喜好來加以安裝與分析你的 squid 登錄檔喔！鳥哥這里僅介紹一套相當強的分析軟件， 那就是 sarg。 [Squid Analysis Report Generator](http://sarg.sourceforge.net/sarg.php) (Squid 分析報告制作者)，他的官方網站在： <http://sarg.sourceforge.net/sarg.php>，他的原理相當的簡單，就是將 logfile 拿出來，然后進行一下解析，依據不同的時間、網站、與熱門網站等等來進行數據的輸出， 由于輸出的結果實在是太詳細了！所以...呵呵！如果你是老板的話，用這個軟件會讓你『愛不釋手』啊！ 因為每個人的每個小動作都會被記錄下來，我的天吶！當我第一次看到這個分析的畫面時，真的給他嚇了老大一跳得說～因為連每個 IP 在『每個小時所連上的每個網站數據』都有紀錄～～害怕了吧～ 不過，有優點就有缺點啦！怎么說呢？因為 SARG 功能太強大了，所以記錄的『數據量』就實在是多了點，如果你的 Proxy 網站屬于那種很大流量的網站時，那么就不要使用『日報表』，也就是每天產生一份報表的那種方式！ 那么由于數據一天可能會有幾 MB 的數據，一兩個月還沒有關系，如果記錄了幾年，那么光是這些記錄就會花掉好幾 GB 的硬盤空間了～此外，也可以使用『覆蓋舊有數據』的方式不要留存舊數據，這樣也可以節省硬盤的空間啦！ 在 SARG 的官網上面已經有朋友替大家將 RPM 的檔案制作出來了，你可以參考：<http://packages.sw.be/sarg/> 網站內的檔案。由于鳥哥用的是 CentOS 6.x 64 位版本，但截至本日為止 (2011/08) 這個網站尚未釋出穩定的 CentOS 6 版本，因此鳥哥下載的是 sarg-2.2.3.1-1.el5.rf.x86\_64.rpm 這個版本。你可以使用 wget 下載到 /root 底下，再用 rpm -ivh 去安裝起來即可。 這個軟件默認會將 /var/www/sarg 作為輸出報表的目標，而且你必須要安裝與啟動 WWW 服務器， 至于網址列則是： <http://your.hostname/sarg> 去查閱。底下讓我們來處理 sarg 的配置文件吧！ ``` [root@www ~]# yum install gd [root@www ~]# rpm -ivh sarg-2.2.3.1-1.el5.rf.x86_64.rpm [root@www ~]# vim /etc/sarg/sarg.conf title "Squid 使用者存取報告" <==第 49 行左右 font_size 12px <==第 69 行左右 charset UTF-8 <==第 353 行左右 # 1\. 一口氣制作所有登錄文件內的數據報表 [root@www ~]# sarg SARG: Records in file: 2285, reading: 100.00% <==列出分析信息 # 2\. 制作 8 月 2 日的報表 [root@www ~]# sarg -d 02/08/2011 # 這兩個范例，都會將數據丟到 /var/www/sarg/ONE-SHOT/ 底下去； # 3\. 制作昨天的報表 [root@www ~]# sh /etc/cron.daily/sarg # 這個范例則是將每天的數據放置于 /var/www/sarg/daily/ 底下去！ ``` 如果制作好相關數據，由于 sarg 這個 RPM 檔案已經幫我們設定好了每日、每周、每月進行一次執行， 所以你可以不用管怎么執行啦！非常的方便！如果想要查閱數據，只要在 proxy server 端輸入 <http://your.hostname/sarg> 會看到如下畫面：  圖 17.4-2、sarg 報表觀察示意圖 如上所示，在網址列輸入服務器本機的咚咚，然后會看到幾個連結。與我們有關的是 ONE-SHOT 以及 daily 兩個， 我們來瞧瞧 ONE-SHOT (箭頭 2 所指) 里面有啥咚咚？按下去會看到下圖：  圖 17.4-3、sarg 報表觀察示意圖 如上圖所示，因為我們剛剛測試執行過兩次 sarg 的指令，所以這里會有兩個時間的連結。我們先看看總和數據， 亦即圖中箭頭所指的地方，會出現下圖的說明：  圖 17.4-4、sarg 報表觀察示意圖 在該段時間內，共有三個用戶在存取，我們來瞧瞧 client.centos.vbird 到底干了啥事吧！  圖 17.4-5、sarg 報表觀察示意圖 看到沒有，這個用戶在這段時間進行過的聯機通通在里面！有沒有很清晰呢？ - - - - - -