rsync操作和部署文檔 · linux運維

# rsync操作和部署 ## 1 基礎知識 ### 1.1 Rsync簡介可實現全量及增量、本地或遠程的數據同步備份的工具官網：https://www.samba.org/ftp/rsync/rsync.html 相當于cp（本地復制）、scp（遠程復制）、rm（刪除）命令的合體但比這三個命令更優秀既能夠備份數據內容，也能夠備份屬性信息 ### 1.2 Rsync優缺點： 1) 優點： * 支持拷貝特殊文件如鏈接文件，設備等 * 可以有排除指定文件或目錄同步的功能，相當于打包命令tar的排除功能 * 可以做到保持元文件或目錄的權限、時間、軟硬鏈接、屬主、組等所有屬性均不變 * 可時間增量同步、即只同步發生變化的數據，因此數據的效率很高 * 可以使用rcp,rsh,ssh等方式來配合傳輸文件達到加密傳輸 * 可以通過socket（守護進程方式）傳輸文件和數據（服務端和客戶端） * 支持匿名的、認證的（無需系統用戶）進程模式傳輸，可方便安全的進行數據備份及鏡像 2) 缺點： * 大量小文件同步的時候，時間較長，有時候rsync進程可能會停止 * 同步10G這樣的大文時時，可能會中斷，未完整同步前，是隱藏文件 * rsync本身不對數據加密,需配合ssh等實現加密 ### 1.3 Rsync的工作方式 * 單個主機本地之間的數據傳輸（類似于cp） * 借助rcp，ssh等通道來傳輸數據（類似于scp） * 以守護進程（socket）的方式來傳輸數據（服務端和客戶端） ## 2 普通用法 ### 2.1 基本參數常用參數：avz或az ```sh -v 詳細模式輸出，傳輸時的進度等信息 -z 傳輸時進行壓縮以提高傳輸效率。--compress-level=NUM可按級別壓縮 -a 歸檔模式，表示以遞歸方式傳輸文件，并保持文件說有屬性，等于rtopgDI -r 對子目錄以遞歸傳遞，即目錄下的所有目錄都同樣傳輸，注意是小寫r -t 保持穩健時間信息 -o 保持文件屬主信息 -p 保持文件權限 -g 保持文件屬組信息 -P 顯示同步的過程及傳輸的進度等信息 -D 保持設備文件信息 -l 保留軟鏈接 -e 使用指定的shell程序替代傳輸用的rsh管道，如ssh --exclude=PATTERN 指定排除不需要傳輸的文件模式(和tar參數一樣) --exclude-from=file 指定排除某個目錄中的某個文件(和tar參數一樣) --bwlimit=RATE 限制傳輸時的帶寬（避免全部占用完帶寬） --partial 斷點續傳 --delete 讓目標目錄和源目錄數據保持一致（不一致會刪除） ``` >說明，rsync備份時，如果備份/tmp,表示備份目錄名和目錄下的內容，如果備份/tmp/，表示只備份目錄下的內容 ### 2.2 普通模式 1) 本地模式語法: ```sh rsync [OPTION...] 源路徑目的路徑 ``` 2) 遠程模式語法: ```sh 拉: rsync [OPTION...] [遠端用戶@]主機名或IP:源路徑目標路徑推: rsync [OPTION...] 源路徑 [遠端用戶@]主機名或IP:目標路徑 ``` >PS1:前面的是原路徑,后面的是目標路徑,推和拉的區別僅僅是遠端地址所在的位置 >PS2:遠端用戶名可省略,省略代表用本機當前用戶去連接 3) 應用舉例 * 備份本機hosts文件到到tmp目錄 ```sh rsync -avz /etc/hosts /tmp ``` * 推送本機hosts文件到另外一臺主機tmp目錄 ```sh rsync -avz /etc/hosts root@172.16.1.31:/tmp/ ``` * 拉取遠端主機hosts文件本機tmp目錄 ```sh rsync -avz root@172.16.1.31:/etc/hosts /tmp/ ``` * 配合ssh加密傳輸數據[-e] ```sh rsync -avz -e 'ssh -p 22' /etc/hosts root@172.16.1.31:/tmp/ ``` * 同步時排除某些文件[--exclude] ```sh rsync -avz --exclude=a.txt /backup/ root@172.16.1.41:/tmp/ rsync -avz --exclude-from=paichu.txt /backup/ root@172.16.1.41:/tmp/ --exclude參數使用相對路徑,可以排除單個和多個文件也可以用--exclude-from=paichu.txt,排除這個文件中指定的文件 ``` * 無差異同步[--delete] ```sh rsync -avz --delete /backup/ root@172.16.1.41:/tmp/ --delete會把服務器上有而本地沒有的數據全部刪除，非常危險，慎用慎用 ``` * 限速[--bwlimit] ```sh sync -avz --bwlimit=100 /backup/ root@172.16.1.41:/tmp/ ``` ## 3. **守護進程模式(重點)** ### 3.1 基礎說明搭建服務端啟動守護進程（873端口），然后在客戶端推或拉數據進行備份,比普通遠程模式好的地方在于,免交互的備份數據,配合定時任務食用更加. **語法** ``` 拉: rsync [OPTION...] [USER@]HOST::SRC DEST 推: rsync [OPTION...] SRC [USER@]HOST::DEST ``` >PS:推拉的區別同普通模式,用的更多的是推模式,因為拉的模式客戶端數量很大時,會非常消耗服務端資源,而推模式請求由客戶端發起,不占用服務端資源 ### 3.2 服務器端配置過程： 1) 檢查和安裝rsync ```sh rpm -qa rsync yum install rsync -y ``` 先檢查是否有安裝,如果有則安裝 2) 添加rsync服務的用戶 ```sh useradd -s /sbin/nologin -M rsync id rsync ``` 3) 生成rsyncd.conf配置文件并寫入內容 ```sh cat >/etc/rsyncd.conf <<"EOF" ##rsyncd.conf start## uid = rsync gid = rsync use chroot = no max connections = 200 timeout = 300 pid file = /var/run/rsyncd.pid lock file = /var/run/rsync.lock log file = /var/log/rsyncd.log ignore errors list = false hosts allow = 172.16.1.0/24 #hosts deny = 0.0.0.0/32 auth users = rsync_backup secrets file = /etc/rsync.password [backup] comment = "backup dir by noah" path = /backup read only = false ##rsync_conf_____end## EOF ``` 關于配置文件各行的說明見文檔最后 4) 創建共享目錄并授權rsync服務管理 ```sh mkdir /backup -p chown -R rsync.rsync /backup/ ``` 5) 創建認證文件并修改權限 ```sh echo "rsync_backup:noah123" >/etc/rsync.password cat /etc/rsync.password chmod 600 /etc/rsync.password ls -l /etc/rsync.password ``` 此處的用戶和密碼,非系統中的用戶和密碼 6) 啟動rsync服務加入開機啟動 ```sh rsync --daemon netstat -lntup|grep 873 echo "/usr/bin/rsync --daemon" >>/etc/rc.local tail -1 /etc/rc.local ``` ### 3.3 客戶端配置 1) 檢查和安裝rsync ```sh rpm -qa rsync yum install rsync -y ``` 2) 生成鏈接服務器需要的密碼文件 ```sh echo "noah123" >/etc/rsync.password chmod 600 /etc/rsync.password ``` #只需要密碼不需要用戶名 3) 同步數據(推送) ```sh rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password ``` 提示：ip后面跟的backup是服務器配置文件中的模塊名，不是備份路徑 ## 4 配置文件說明 1) 配置文件整體說明 ```sh uid = rsync #用戶，遠端的客戶機使用rsync用戶來訪問共享目錄 gid = rsync #用戶組 use chroot = no #安全相關 max connections = 200 #最大連接數 timeout = 300 #超時時間 pid file = /var/run/rsyncd.pid #進程對應的進程號文件 lock file = /var/run/rsync.lock #鎖文件，防止文件不一致 log file = /var/log/rsyncd.log #日志文件 ignore errors #忽略錯誤 list = false #不允許列表（ls） hosts allow = 172.16.1.0/24 #白名單,允許的網段 #hosts deny = 0.0.0.0/32 #黑名單,拒絕的網段 auth users = rsync_backup #鏈接的虛擬用戶，非系統用戶 secrets file = /etc/rsync.password #虛擬用戶的賬號密碼文件 [backup] #模塊名稱，可以有多個，稱為多模塊 comment = "backup dir by noah" 模塊描述信息 path = /backup #服務器提供的共享目錄 read only = false #可寫 ``` 注意不要在配置文件中某一行后面用#號寫注釋，識別不了的，注釋用的#號必須寫在行首 2) 黑白名單三種情況說明： * 只有白名單，白名單網段或主機信息允許。其余阻止 * 只有黑名單，黑名單網段或主機信息阻止，其余允許 * 黑白名單都有，相當于只有黑名單的方式建議使用白名單方式