12.4 備份和恢復 · Go Web 編程

這小節我們要討論應用程序管理的另一個方面：生產服務器上數據的備份和恢復。我們經常會遇到生產服務器的網絡斷了、硬盤壞了、操作系統崩潰、或者數據庫不可用了等各種異常情況，所以維護人員需要對生產服務器上的應用和數據做好異地災備，冷備熱備的準備。在接下來的介紹中，講解了如何備份應用、如何備份/恢復Mysql數據庫和redis數據庫。 ## [](https://github.com/astaxie/build-web-application-with-golang/blob/master/zh/12.4.md#應用備份)應用備份在大多數集群環境下，Web應用程序基本不需要備份，因為這個其實就是一個代碼副本，我們在本地開發環境中，或者版本控制系統中已經保持這些代碼。但是很多時候，一些開發的站點需要用戶來上傳文件，那么我們需要對這些用戶上傳的文件進行備份。目前其實有一種合適的做法就是把和網站相關的需要存儲的文件存儲到云儲存，這樣即使系統崩潰，只要我們的文件還在云存儲上，至少數據不會丟失。如果我們沒有采用云儲存的情況下，如何做到網站的備份呢？這里我們介紹一個文件同步工具rsync：rsync能夠實現網站的備份，不同系統的文件的同步，如果是windows的話，需要windows版本cwrsync。 ### [](https://github.com/astaxie/build-web-application-with-golang/blob/master/zh/12.4.md#rsync安裝)rsync安裝 rysnc的官方網站：[http://rsync.samba.org/](http://rsync.samba.org/)?可以從上面獲取最新版本的源碼。當然，因為rsync是一款非常有用的軟件，所以很多Linux的發行版本都將它收錄在內了。軟件包安裝 ~~~ # sudo apt-get install rsync 注：在debian、ubuntu 等在線安裝方法； # yum install rsync 注：Fedora、Redhat、CentOS 等在線安裝方法； # rpm -ivh rsync 注：Fedora、Redhat、CentOS 等rpm包安裝方法； ~~~ 其它Linux發行版，請用相應的軟件包管理方法來安裝。源碼包安裝 ~~~ tar xvf rsync-xxx.tar.gz cd rsync-xxx ./configure --prefix=/usr ;make ;make install 注：在用源碼包編譯安裝之前，您得安裝gcc等編譯工具才行； ~~~ ### [](https://github.com/astaxie/build-web-application-with-golang/blob/master/zh/12.4.md#rsync配置)rsync配置 rsync主要有以下三個配置文件rsyncd.conf(主配置文件)、rsyncd.secrets(密碼文件)、rsyncd.motd(rysnc服務器信息)。關于這幾個文件的配置大家可以參考官方網站或者其他介紹rsync的網站，下面介紹服務器端和客戶端如何開啟 * 服務端開啟： ~~~ #/usr/bin/rsync --daemon --config=/etc/rsyncd.conf ~~~ --daemon參數方式，是讓rsync以服務器模式運行。把rsync加入開機啟動 ~~~ echo 'rsync --daemon' >> /etc/rc.d/rc.local ~~~ 設置rsync密碼 ~~~ echo '你的用戶名:你的密碼' > /etc/rsyncd.secrets chmod 600 /etc/rsyncd.secrets ~~~ * 客戶端同步：客戶端可以通過如下命令同步服務器上的文件： ~~~ rsync -avzP --delete --password-file=rsyncd.secrets 用戶名@192.168.145.5::www /var/rsync/backup ~~~ 這條命令，簡要的說明一下幾個要點： 1. -avzP是啥，讀者可以使用--help查看 2. --delete 是為了比如A上刪除了一個文件，同步的時候，B會自動刪除相對應的文件 3. --password-file 客戶端中/etc/rsyncd.secrets設置的密碼，要和服務端的 /etc/rsyncd.secrets 中的密碼一樣，這樣cron運行的時候，就不需要密碼了 4. 這條命令中的"用戶名"為服務端的 /etc/rsyncd.secrets中的用戶名 5. 這條命令中的 192.168.145.5 為服務端的IP地址 6. ::www，注意是2個 : 號，www為服務端的配置文件 /etc/rsyncd.conf 中的[www]，意思是根據服務端上的/etc/rsyncd.conf來同步其中的[www]段內容，一個 : 號的時候，用于不根據配置文件，直接同步指定目錄。為了讓同步實時性，可以設置crontab，保持rsync每分鐘同步，當然用戶也可以根據文件的重要程度設置不同的同步頻率。 ## [](https://github.com/astaxie/build-web-application-with-golang/blob/master/zh/12.4.md#mysql備份)MySQL備份應用數據庫目前還是MySQL為主流，目前MySQL的備份有兩種方式：熱備份和冷備份，熱備份目前主要是采用master/slave方式（master/slave方式的同步目前主要用于數據庫讀寫分離，也可以用于熱備份數據），關于如何配置這方面的資料，大家可以找到很多。冷備份的話就是數據有一定的延遲，但是可以保證該時間段之前的數據完整，例如有些時候可能我們的誤操作引起了數據的丟失，那么master/slave模式是無法找回丟失數據的，但是通過冷備份可以部分恢復數據。冷備份一般使用shell腳本來實現定時備份數據庫，然后通過上面介紹rsync同步非本地機房的一臺服務器。下面這個是定時備份mysql的備份腳本，我們使用了mysqldump程序，這個命令可以把數據庫導出到一個文件中。 ~~~ #!/bin/bash # 以下配置信息請自己修改 mysql_user="USER" #MySQL備份用戶 mysql_password="PASSWORD" #MySQL備份用戶的密碼 mysql_host="localhost" mysql_port="3306" mysql_charset="utf8" #MySQL編碼 backup_db_arr=("db1" "db2") #要備份的數據庫名稱，多個用空格分開隔開如("db1" "db2" "db3") backup_location=/var/www/mysql #備份數據存放位置，末尾請不要帶"/",此項可以保持默認，程序會自動創建文件夾 expire_backup_delete="ON" #是否開啟過期備份刪除 ON為開啟 OFF為關閉 expire_days=3 #過期時間天數默認為三天，此項只有在expire_backup_delete開啟時有效 # 本行開始以下不需要修改 backup_time=`date +%Y%m%d%H%M` #定義備份詳細時間 backup_Ymd=`date +%Y-%m-%d` #定義備份目錄中的年月日時間 backup_3ago=`date -d '3 days ago' +%Y-%m-%d` #3天之前的日期 backup_dir=$backup_location/$backup_Ymd #備份文件夾全路徑 welcome_msg="Welcome to use MySQL backup tools!" #歡迎語 # 判斷MYSQL是否啟動,mysql沒有啟動則備份退出 mysql_ps=`ps -ef |grep mysql |wc -l` mysql_listen=`netstat -an |grep LISTEN |grep $mysql_port|wc -l` if [ [$mysql_ps == 0] -o [$mysql_listen == 0] ]; then echo "ERROR:MySQL is not running! backup stop!" exit else echo $welcome_msg fi # 連接到mysql數據庫，無法連接則備份退出 mysql -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password <<end use mysql; select host,user from user where user='root' and host='localhost'; exit end flag=`echo $?` if [ $flag != "0" ]; then echo "ERROR:Can't connect mysql server! backup stop!" exit else echo "MySQL connect ok! Please wait......" # 判斷有沒有定義備份的數據庫，如果定義則開始備份，否則退出備份 if [ "$backup_db_arr" != "" ];then #dbnames=$(cut -d ',' -f1-5 $backup_database) #echo "arr is (${backup_db_arr[@]})" for dbname in ${backup_db_arr[@]} do echo "database $dbname backup start..." `mkdir -p $backup_dir` `mysqldump -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password $dbname --default-character-set=$mysql_charset | gzip > $backup_dir/$dbname-$backup_time.sql.gz` flag=`echo $?` if [ $flag == "0" ];then echo "database $dbname success backup to $backup_dir/$dbname-$backup_time.sql.gz" else echo "database $dbname backup fail!" fi done else echo "ERROR:No database to backup! backup stop" exit fi # 如果開啟了刪除過期備份，則進行刪除操作 if [ "$expire_backup_delete" == "ON" -a "$backup_location" != "" ];then #`find $backup_location/ -type d -o -type f -ctime +$expire_days -exec rm -rf {} \;` `find $backup_location/ -type d -mtime +$expire_days | xargs rm -rf` echo "Expired backup data delete complete!" fi echo "All database backup success! Thank you!" exit fi ~~~ 修改shell腳本的屬性： ~~~ chmod 600 /root/mysql_backup.sh chmod +x /root/mysql_backup.sh ~~~ 設置好屬性之后，把命令加入crontab，我們設置了每天00:00定時自動備份，然后把備份的腳本目錄/var/www/mysql設置為rsync同步目錄。 ~~~ 00 00 * * * /root/mysql_backup.sh ~~~ ## [](https://github.com/astaxie/build-web-application-with-golang/blob/master/zh/12.4.md#mysql恢復)MySQL恢復前面介紹MySQL備份分為熱備份和冷備份，熱備份主要的目的是為了能夠實時的恢復，例如應用服務器出現了硬盤故障，那么我們可以通過修改配置文件把數據庫的讀取和寫入改成slave，這樣就可以盡量少時間的中斷服務。但是有時候我們需要通過冷備份的SQL來進行數據恢復，既然有了數據庫的備份，就可以通過命令導入： ~~~ mysql -u username -p databse < backup.sql ~~~ 可以看到，導出和導入數據庫數據都是相當簡單，不過如果還需要管理權限，或者其他的一些字符集的設置的話，可能會稍微復雜一些，但是這些都是可以通過一些命令來完成的。 ## [](https://github.com/astaxie/build-web-application-with-golang/blob/master/zh/12.4.md#redis備份)redis備份 redis是目前我們使用最多的NoSQL，它的備份也分為兩種：熱備份和冷備份，redis也支持master/slave模式，所以我們的熱備份可以通過這種方式實現，相應的配置大家可以參考官方的文檔配置，相當的簡單。我們這里介紹冷備份的方式：redis其實會定時的把內存里面的緩存數據保存到數據庫文件里面，我們備份只要備份相應的文件就可以，就是利用前面介紹的rsync備份到非本地機房就可以實現。 ## [](https://github.com/astaxie/build-web-application-with-golang/blob/master/zh/12.4.md#redis恢復)redis恢復 redis的恢復分為熱備份恢復和冷備份恢復，熱備份恢復的目的和方法同MySQL的恢復一樣，只要修改應用的相應的數據庫連接即可。但是有時候我們需要根據冷備份來恢復數據，redis的冷備份恢復其實就是只要把保存的數據庫文件copy到redis的工作目錄，然后啟動redis就可以了，redis在啟動的時候會自動加載數據庫文件到內存中，啟動的速度根據數據庫的文件大小來決定。 ## [](https://github.com/astaxie/build-web-application-with-golang/blob/master/zh/12.4.md#小結)小結本小節介紹了我們的應用部分的備份和恢復，即如何做好災備，包括文件的備份、數據庫的備份。同時也介紹了使用rsync同步不同系統的文件，MySQL數據庫和redis數據庫的備份和恢復，希望通過本小節的介紹，能夠給作為開發的你對于線上產品的災備方案提供一個參考方案。