# NFS文件系統-掛載和優化 ## 1 查看掛載配置： ```sh cat /var/lib/nfs/etab 查看NFS服務器端配置參數的細節 cat /proc/mounts 查看客戶端mount的掛載參數細節 ``` ## 2 NFS客戶端mount掛載參數說明 ```sh fg/bg 默認[fg],在客戶端執行掛載時，可以選擇在前臺(fg)執行還是在后臺(bg)執行 soft/hart 默認[hart]當網絡和server出問題時，soft參數會在超時后停止掛載，hard參數會一直掛載直到成功（但可能造成客戶端無響應，常配合intr參數使用） intr 當hard掛載資源timeout后，若使用intr參數可在超時后終端掛載，防止NFS鎖死 resize/wsize 讀出和寫入的區塊大小，影響客戶端與服務器段傳輸數據的緩沖存儲量 proto=tcp 默認[tcp]傳輸使用的協議，跨internet建議tcp有較好的糾錯能力，內網建議用udp提高性能 ``` ## 3 掛載模式建議： 追求極致： ```sh mount -t nfs -o fg,hart,intr,resize=13107,wsize=131072 172.16.1.31:/date/ /mnt ``` 簡單易用： ```sh mount -t nfs 172.16.1.31:/date/ /mnt # 默認參數能滿足大部分需求 ``` ## 4 mount -o可以使用的參數說明(紅色默認值) ```sh ro/rw ■以只讀/讀寫方式掛載 dev/nodev 是否保留裝置文件的特殊功能，如分區和光驅的區別，建議一般nodev sync/async ●直接同步寫入磁盤，還是異步先寫入內存再后續寫入硬盤 auto/noauto 允許/不允許以–a選項進行自動掛載 exec/noexec ●是否具有執行文件的權限，如果掛載的用途是數據存儲，建議noexec suid/nosuid ●掛載的文件系統，是否取消suid這個權限 user/nouser 是否允許一般用戶的掛載與卸載功能 dirsync ●目錄更新時同步寫入磁盤 remount 嘗試重新掛載已經掛載了的文件系統 noatime ■訪問文件時不更新文件inode中的時間戳，高并發環境可提高性能 nodiratime ■同上，不更新目錄的訪問時間戳atime defaults 使用所有選項的默認值（auto、nouser、rw、suid） loop 掛載“回旋設備”以及“ISO鏡像文件” ●表示安全優化參數，■表示性能優化參數，安全和性能是對立的 ``` remount參數很重要，在文件系統變為只讀后，進入單用戶模式修復時，要使用`mount -o remount,rw /**` 來重新掛載目錄 以上參數有部分只在fatab中有效，sync至在ext234\fat\vfat\ufat中有效 ## 5 企業生產環境下NFS優化掛載3種常見用法 ```sh 1）默認掛載 mount -t nfs IP:目錄 /掛載點 # 其實centos的默認掛載性能已經非常不錯了 2）性能優化 # 減少更新訪問時間戳產生的磁盤I/O mount -t nfs -o noatime,nodiratime IP:目錄 /掛載點 3）安全優化 # 進行執行和提權執行，防掛馬 mount -t nfs -o nosuid,noexec,nodev IP:目錄 /掛載點 4）安全和性能都優化 mount -t nfs -o nosuid,noexec,nodev,noatime,nodiratime,intr,rsize=131072,wsize=131072 IP:目錄 /掛載點 ``` 注意：本地文件系統掛載時不能加odiratime選項，會報錯 ## 6 NFS內核優化說明和建議 ```sh proc/sys/net/core/rmem_default 指定接收套接字的緩沖區默認大小（默：124928） proc/sys/net/core/rmem_max 指定接收套接字的緩沖區的最大值（默：124928） proc/sys/net/core/wmem_default 指定發送套接字的緩沖區默認大小（默：124928） proc/sys/net/core/wmem_max 指定發送套接字的緩沖區的最大值（默：124928） ``` 優化命令如下: ```sh cat >>/etc/sysctl.conf<<EOF net.core.wmem_dafault = 8388608 net.core.rmem_dafault = 8388608 net.core.wmem_max = 16777216 net.core.rmem_max = 16777216 EOF sysctl -p ``` ## 7 企業場景NFS共享存儲優化小結 1. 硬件：SAS/SSD硬盤，組RAID10，網卡千兆，多塊網卡做bond 2. NFS服務端配置優化： ``` /目錄 ip網段(rw,sync,all_squash,anonuid=65535,anongid=65534) ``` 3. NFS掛載客戶端優化： ```sh -o nosuid,noexec,nodev,noatime,nodiratime,intr,rsize=131072,wsize=131072 ``` 4. NFS服務器內核優化:命令見上面，要執行sysctl -p使配置生效 5. 大型網站可用分布式文件系統替換NFS，Moosefs(mfs)和FastDFS適合小文件系統，GlusterFS適合大文件系統 > 如果卸載的時候提示`umount: /mnt: device is busy`，需要退出掛載目錄再進行掛載，如果是NFS server宕機了，則需要強制卸載，執行命令`umount -lf /mnt` ## 8 NFS系統的優缺點總結 ### 優點： 1）簡單，容易上手，容易掌握 2）數據直接可見，不想分布式文件系統數據不能直接看見 3)部署快速，維護簡單方便且可控（滿足要求的就是最好的） 4)可靠，數據可靠性高，經久耐用 5)服務非常穩定 ### 缺點: 1)存在單點故障，可通過高負載和高可用方案彌補 2)大數據高并發下NFS效率和性能有限（但2千萬/日PV以下都行，滿足不了2千萬那是架構太差） 3)FS數據是明文的，NFS本身不對數據完整性進行驗證 4)多臺客戶機掛載一個NFS服務器時，連接管理維護麻煩，NFS服務器端出問題后，所有客戶端都處于掛掉狀態 5)耦合度高，一直存在連接，涉及同步（實時等待）和異步（解耦）概念，網站要盡量降低耦合度 ### 建議： 對大中型網站（2000萬/日PV以下）都有用武之地，在生產場景中，應該盡量多將數據訪問往前退，將靜態存儲里面的資源通過CDN或緩存服務器提供服務，如果沒有緩存服務或架構不好，存儲服務器再多也扛不住，用戶體驗會很差，即使使用分布式文件系統也一樣（CDN可以提供90-95%的數據訪問服務，內存服務器3%，剩余的才是文件服務器提供的） ### 學習要求 會口述NFS服務器的網絡原理、流程 會口述NFS的優化 會口述NFS的優缺點