? 1 安裝 1.1 準備環境 三臺主機（主機數應為副本數的倍數），主機名為xhw380，xhw381，xhw382.每臺主機上用root用戶進行操作。 1.2 安裝 在物理機上使用rpm包安裝，rpm包下載源 https://buildlogs.centos.org/centos/7/storage/x86_64/gluster-3.8/  2 操作 2.1 開啟服務 `systemctl start glusterd.service` 2.2 查看服務 `systemctl status glusterd.service` 2.3 添加節點到集群 不需要添加執行操作的機器，例如在xhw380上操作時，只需要執行： ~~~ gluster peer probe xhw381 gluster peer probe xhw382 ~~~ 2.4 從集群中刪除節點 `gluster peer detach nodename` 2.5 查看節點狀態 可以看到除自己之外的所有節點 `gluster peer status`  2.6 配置volume GlusterFS中的volume的模式有很多中，包括以下幾種：+ 1) 分布卷（默認模式）：即DHT, 也叫 分布卷: 將文件已hash算法隨機分布到 一臺服務器節點中存儲。 2) 復制模式：即AFR, 創建volume 時帶 replica x 數量: 將文件復制到 replica x 個節點中。 3) 條帶模式：即Striped, 創建volume 時帶 stripe x 數量： 將文件切割成數據塊，分別存儲到 stripe x 個節點中 ( 類似raid 0 )。在大文件讀取上有優勢。 4) 注：條帶化有個最小限制：128KB。即當文件大小小于這個參數時，不進行分隔。其他儲存單元中，存在同名文件，但是大小為0. 5) 分布式條帶模式：是DHT 與 Striped 的組合型。 6) 分布式復制模式：是DHT 與 AFR 的組合型。 7) 條帶復制卷模式：是 Striped 與 AFR 的組合型。 8) 三種模式混合 根據業務需求，我們創建復制數為3的復制卷 ~~~ xhw380: mkdir /data01/gfs xhw381: mkdir /data01/gfs xhw382: mkdir /data01/gfs ~~~ 在任意一臺主機上創建復制卷： `gluster volume create cbbs replica 3 xhw{380,381,382}:/data01/gfs` 注：節點數一定要是復制數的倍數。 ~~~ 啟動卷：gluster volume start cbbs 查看卷信息：gluster volume info 掛載客戶端(每臺主機執行)： mount.glusterfs xhw380:/cbbs /cbbs/gfs 停止卷：gluster volume stop cbbs 刪除卷：gluster volume delete cbbs ~~~ 3 優化 具體選項： ~~~ Auth_allow　　#IP訪問授權；缺省值（*.allow all）；合法值：Ip地址 Cluster.min-free-disk　　#剩余磁盤空間閥值；缺省值（10%）；合法值：百分比 Cluster.stripe-block-size　　#條帶大小；缺省值（128KB）；合法值：字節 Network.frame-timeout　　#請求等待時間；缺省值（1800s）；合法值：1-1800 Network.ping-timeout　　#客戶端等待時間；缺省值（42s）；合法值：0-42 Nfs.disabled　　#關閉NFS服務；缺省值（Off）；合法值：Off|on Performance.io-thread-count　　#IO線程數；缺省值（16）；合法值：0-65 Performance.cache-refresh-timeout　　#緩存校驗時間；缺省值（1s）；合法值：0-61 Performance.cache-size　　#讀緩存大小；缺省值（32MB）；合法值：字節 Performance.quick-read: #優化讀取小文件的性能 Performance.read-ahead: #用預讀的方式提高讀取的性能，有利于應用頻繁持續性的訪問文件，當應用完成當前數據塊讀取的時候，下一個數據塊就已經準備好了。 Performance.write-behind:先寫入緩存內，在寫入硬盤，以提高寫入的性能。 Performance.io-cache:緩存已經被讀過的。 ~~~ 3.1 開啟指定volume的配額 `gluster volume quota cbbs enable` 3.2 限制指定volume的配額 `gluster volume quota cbbs limit-usage / 100GB` 3.3 打開預讀方式訪問存儲 `gluster volume set cbbs performance.read-ahead on` 3.4 設置cache大小，默認32MB `gluster volume set cbbs performance.cache-size 4GB` 3.5 設置 io 線程, 太大會導致進程崩潰 `gluster volume set cbbs performance.io-thread-count 16` 3.6 設置網絡檢測時間 `gluster volume set cbbs network.ping-timeout 10` 3.7 設置寫緩沖區的大小, 默認1M `gluster volume set cbbs performance.write-behind-window-size 1024MB` 4 監控及維護 4.1 查看卷狀態 `gluster volume status cbbs` 4.2 查看配額 `gluster volume quota cbbs list` 4.3 I/O信息查看 Profile Command 提供接口查看一個卷中的每一個brick的IO信息。 啟動profiling，之后則可以進行IO信息查看： ` gluster volume profile cbbs start` 4.3.1 查看I/O信息： ` gluster volume profile cbbs info` 4.3.2 查看后關閉profiling功能 4.4 TOP監控 Top command 允許你查看bricks的性能例如：read, write, file open calls, file read calls, file write calls, directory open calls, and directory real calls 所有的查看都可以設置top數，默認100 4.4.1 查看當前打開的文件數及最大打開的文件數 `gluster volume top VOLNAME open [brick BRICK-NAME] [list-cnt cnt]`  4.4.2 查看讀頻率最高的文件 `gluster volume top VOLNAME read [brick BRICK-NAME] [list-cnt cnt]`  4.4.3 查看寫頻率最高的文件 `gluster volume top VOLNAME write [brick BRICK-NAME] [list-cnt cnt]`  4.4.4 查看打開頻率最高的目錄 `gluster volume top VOLNAME opendir [brick BRICK-NAME] [list-cnt cnt]` 4.4.5 查看讀寫頻率最高的目錄 `gluster volume top VOLNAME readdir [brick BRICK-NAME] [list-cnt cnt]` 4.4.6 查看每個Brick的讀性能 ~~~ gluster volume top VOLNAME read-perf [bs blk-size count count] [brick BRICK-NAME] [list-cnt cnt] ~~~  4.4.7 查看每個Brick的寫性能 ~~~ gluster volume top VOLNAME write-perf [bs blk-size count count] [brick BRICK-NAME] [list-cnt cnt] ~~~