通過命令行備份 · k8s原理與實踐

[TOC] # 通過命令行備份 ## 備份前準備 1. 使用 sys 租戶的 root 用戶登錄數據庫。 2. 根據業務需要，配置 backup\_region 配置項。該配置項用于控制數據備份的 Region。配置后，系統會優先執行指定 Region 的調度備份任務；如果不配置，則會執行所有 Region 的調度備份任務。 3. 配置備份目的地。在進行備份前，需要執行`ALTER SYSTEM`語句配置備份的目的地。目前，OceanBase 數據庫支持 NFS 、 OSS 文件系統和騰訊云 COS 作為備份目的地。例如： * NFS ~~~ obclient> ALTER SYSTEM SET backup_dest='file:///data/nfs/backup'; ~~~ * OSS ~~~ obclient> ALTER SYSTEM SET backup_dest='oss://antsys-oceanbasebackup/backup_rd/?host=cn-hangzhou-alipay-b.oss-cdn.aliyun-inc.com&access_id=xxx&access_key=xxx'; ~~~ * 騰訊云 COS ~~~ obclient> ALTER SYSTEM SET backup_dest='cos://backup-1304745170/backup_rd/20210127?host=cos.ap-nanjing.myqcloud.com&access_id=xxx&access_key=xxx&appid=xxx'; ~~~ 4. （可選）開啟歸檔日志壓縮功能。執行以下語句開啟歸檔日志壓縮，默認使用壓縮算法 lz4\_1.0。 ~~~ obclient> ALTER SYSTEM SET backup_log_archive_option='compression= enable'; ~~~ 日志壓縮支持動態修改壓縮算法，目前支持的壓縮算法有：zstd\_1.3.8 和 lz4\_1.0。如果需要使用其他壓縮算法，則可以執行以下命令： ~~~ obclient> ALTER SYSTEM SET backup_log_archive_option='compression= zstd_1.3.8'; obclient> ALTER SYSTEM SET backup_log_archive_option='compression= lz4_1.0'; ~~~ **說明** 開啟后，后續如果需要關閉歸檔日志壓縮功能，可執行`ALTER SYSTEM SET backup_log_archive_option='compression= disable';`語句關閉。 5. （可選）配置備份模式。備份支持 optional 模式和 mandatory 模式： * optional 模式表示以用戶業務優先。在該模式下，當備份（日志歸檔）來不及的情況下，日志可能來不及備份就回收了，可能會發生備份斷流。 * mandatory 模式表示以備份優先。在該模式下如果備份跟不上用戶數據的寫入，可能會導致用戶無法寫入。默認為 optional 模式，兩種模式之間可以切換。切換配置模式的示例命令如下： ~~~ obclient> ALTER SYSTEM SET backup_log_archive_option = 'optional'; obclient> ALTER SYSTEM SET backup_log_archive_option = 'mandatory'; ~~~ **說明** 您也可以使用`ALTER SYSTEM SET backup_log_archive_option = 'optional compression= enable';`命令同時配置備份模式并開啟歸檔日志壓縮功能。 6. 執行以下語句，啟動 OceanBase 數據庫的歸檔功能。 ~~~ obclient> ALTER SYSTEM ARCHIVELOG; ~~~ 啟動成功后，OceanBase 數據庫會自動將集群產生的事務日志定期備份到之前指定的備份目的地。 7. 執行以下語句，確認日志備份任務是否已開始。 ~~~ obclient> SELECT * FROM CDB_OB_BACKUP_ARCHIVELOG_SUMMARY; ~~~ 當`STATUS`為`DOING`時，表示日志備份任務已開始。 ## 全量備份 1. 使用 sys 租戶的 root 用戶登錄數據庫。 2. 在執行全量備份前，執行以下語句，對集群進行一次合并。 ~~~ obclient> ALTER SYSTEM MAJOR FREEZE; ~~~ 3. 執行以下語句，查看合并進度。 ~~~ obclient> SELECT * FROM __all_zone WHERE name='merge_status'; ~~~ 結果如下所示： ~~~ +----------------------------+----------------------------+-------+--------------+-------+------+ | gmt_create | gmt_modified | zone | name | value | info | +----------------------------+----------------------------+-------+--------------+-------+------+ | 2020-05-26 17:50:11.107352 | 2020-05-26 17:50:45.871523 | | merge_status | 0 | IDLE | | 2020-05-26 17:50::11.109678 | 2020-05-26 17:50:55.780264 | zone1 | merge_status | 0 | IDLE | +----------------------------+----------------------------+-------+--------------+-------+------+ ~~~ 當`info`為`IDLE`時，則表示合并結束。 4. 執行以下語句，進行集群的全量備份。 ~~~ obclient> ALTER SYSTEM BACKUP DATABASE; ~~~ 備份過程中，您可以通過執行以下語句，在視圖中查看備份任務的狀態和詳細信息： * 查看正在備份的任務 ~~~ obclient> SELECT * FROM CDB_OB_BACKUP_PROGRESS; ~~~ 示例結果如下： ~~~ obclient> SELECT * FROM CDB_OB_BACKUP_PROGRESS; +-------------+--------+-------------+-----------+-----------------+-------------------+------------------------+--------------------------+-------------+--------------+----------------------------+----------------------------+---------+ | INCARNATION | BS_KEY | BACKUP_TYPE | TENANT_ID | PARTITION_COUNT | MACRO_BLOCK_COUNT | FINISH_PARTITION_COUNT | FINISH_MACRO_BLOCK_COUNT | INPUT_BYTES | OUTPUT_BYTES | START_TIME | COMPLETION_TIME | STATUS | +-------------+--------+-------------+-----------+-----------------+-------------------+------------------------+--------------------------+-------------+--------------+----------------------------+----------------------------+---------+ | 1 | 3 | I | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 2020-09-16 11:51:21.743752 | 2020-09-16 11:51:22.624217 | RUNNING | | 1 | 3 | I | 1001 | 119 | 0 | 0 | 0 | 0 | 0 | 2020-09-16 11:51:21.743752 | 2020-09-16 11:51:22.281717 | RUNNING | | 1 | 3 | I | 1002 | 5317 | 0 | 0 | 0 | 0 | 0 | 2020-09-16 11:51:21.743752 | 2020-09-16 11:51:22.064521 | RUNNING | +-------------+--------+-------------+-----------+-----------------+-------------------+------------------------+--------------------------+-------------+--------------+----------------------------+----------------------------+---------+ 3 rows in set (0.01 sec) ~~~ * 查看備份任務的歷史 ~~~ obclient> SELECT * FROM CDB_OB_BACKUP_SET_DETAILS; ~~~ 示例結果如下： ~~~ obclient> SELECT * FROM CDB_OB_BACKUP_SET_DETAILS; +-------------+-----------+--------+-------------+-----------------+----------------------------+----------------------------+------------------+------+------------+-------------+------------+--------------+-------------------+-------------------+----------------------+---------------------------+--------------------+ | INCARNATION | TENANT_ID | BS_KEY | BACKUP_TYPE | ENCRYPTION_MODE | START_TIME | COMPLETION_TIME | ELAPSED_SECONDES | KEEP | KEEP_UNTIL | DEVICE_TYPE | COMPRESSED | OUTPUT_BYTES | OUTPUT_RATE_BYTES | COMPRESSION_RATIO | OUTPUT_BYTES_DISPLAY | OUTPUT_RATE_BYTES_DISPLAY | TIME_TAKEN_DISPLAY | +-------------+-----------+--------+-------------+-----------------+----------------------------+----------------------------+------------------+------+------------+-------------+------------+--------------+-------------------+-------------------+----------------------+---------------------------+--------------------+ | 1 | 1 | 2 | D | NONE | 2020-09-16 08:12:15.982675 | 2020-09-16 08:17:19.874385 | 0 | NO | | FILE | NO | 0 | 0.0000 | NULL | 0.00MB | 0.00MB/S | 00:05:03.891710 | | 1 | 1 | 3 | I | NONE | 2020-09-16 11:51:21.743752 | 2020-09-16 12:00:06.640995 | 0 | NO | | FILE | NO | 0 | 0.0000 | NULL | 0.00MB | 0.00MB/S | 00:08:44.897243 | | 1 | 1001 | 2 | D | NONE | 2020-09-16 08:12:15.982675 | 2020-09-16 08:12:22.288826 | 0 | NO | | FILE | NO | 0 | 0.0000 | NULL | 0.00MB | 0.00MB/S | 00:00:06.306151 | | 1 | 1001 | 3 | I | NONE | 2020-09-16 11:51:21.743752 | 2020-09-16 11:51:34.535564 | 0 | NO | | FILE | NO | 0 | 0.0000 | NULL | 0.00MB | 0.00MB/S | 00:00:12.791812 | | 1 | 1002 | 2 | D | NONE | 2020-09-16 08:12:15.982675 | 2020-09-16 08:17:18.426037 | 0 | NO | | FILE | NO | 0 | 0.0000 | NULL | 0.00MB | 0.00MB/S | 00:05:02.443362 | | 1 | 1002 | 3 | I | NONE | 2020-09-16 11:51:21.743752 | 2020-09-16 12:00:05.837062 | 0 | NO | | FILE | NO | 0 | 0.0000 | NULL | 0.00MB | 0.00MB/S | 00:08:44.093310 | +-------------+-----------+--------+-------------+-----------------+----------------------------+----------------------------+------------------+------+------------+-------------+------------+--------------+-------------------+-------------------+----------------------+---------------------------+--------------------+ 6 rows in set (0.00 sec) ~~~ `CDB_OB_BACKUP_SET_DETAILS`中，部分字段的說明如下表所示。 <table cols="2" id="table-g4u-f4y-xip" class="table"><colgroup colname="col1" colnum="1" colwidth="1*" id="colgroup-qyz-bgc-ynj" style="width:33.33333333333333%"></colgroup><colgroup colname="col2" colnum="2" colwidth="2*" id="colgroup-m02-dch-m08" style="width:66.66666666666666%"></colgroup><thead id="thead-xlr-tcu-yb7" class="thead"><tr id="tr-b2t-93f-owi"><th id="td-ft1-1zz-7s3">字段</th><th id="td-c38-wum-stq">說明</th></tr></thead><tbody id="tbody-rde-gue-olo" class="tbody"><tr id="tr-7zj-r2s-f9y"><td namest="col1" nameend="col1" morerows="0" id="td-4rr-dfj-rjt">OUTPUT_BYTES</td><td namest="col2" nameend="col2" morerows="0" id="td-n4t-wza-hel">表示寫在外部存儲介質的數據量，單位為 Bytes</td></tr><tr id="tr-5rm-cpf-u6a"><td id="td-udy-w8z-wpo">OUTPUT_RATE_BYTES</td><td id="td-ho7-np0-eai">表示 1 秒內上傳的數據量，單位為 Bytes</td></tr><tr id="tr-t7z-xdt-bqf"><td namest="col1" nameend="col1" id="td-mrw-3p4-xqd">COMPRESSION_RATIO</td><td namest="col2" nameend="col2" id="td-gwv-2mx-v4i">表示壓縮比例，計算公式：<code data-tag="code" class="code">COMPRESSION_RATIO = OUTPUT_BYTES / INPUT_BYTES</code>其中，<code data-tag="code" class="code">INPUT_BYTES</code> 是 OBServer 本次需要備份的數據的大小，故可以通過 <code data-tag="code" class="code">COMPRESSION_RATIO</code> 的值計算出 INPUT_BYTES 的值，即 <code data-tag="code" class="code">INPUT_BYTES = OUTPUT_BYTES / COMPRESSION_RATIO</code></td></tr><tr id="tr-vrq-4ql-jqy"><td namest="col1" nameend="col1" id="td-fnq-okd-892">OUTPUT_BYTES_DISPLAY</td><td namest="col2" nameend="col2" id="td-tzi-hgo-6pt">對于 <code data-tag="code" class="code">OUTPUT_BYTES</code> 單位轉換之后的展示，單位為 MB 、GB、TB 和 PB 中的一種</td></tr><tr id="tr-s2w-9r3-nl6"><td namest="col1" nameend="col1" id="td-jwg-ott-8xp">OUTPUT_RATE_BYTES_DISPLAY</td><td namest="col2" nameend="col2" id="td-dgo-o5c-bet">對于 <code data-tag="code" class="code">OUTPUT_RATE_BYTES</code> 單位轉換之后的展示，單位為 MB 、GB、TB 和 PB 中的一種</td></tr><tr id="tr-j0o-q9d-etv"><td namest="col1" nameend="col1" id="td-ks1-mom-zxy">TIME_TAKEN_DISPLAY</td><td namest="col2" nameend="col2" id="td-6ih-oyj-31j">以 <code data-tag="code" class="code">TIMESTAMP</code> 的方式展示 COMPLETION_TIME - START_TIME</td></tr></tbody></table> ## 增量備份增量備份是從上一個全量備份開始，備份所有修改過的宏塊。建議在執行增量備份前確保已經有全量備份存在。 1. 使用 sys 租戶的 root 用戶登錄數據庫。 2. 執行以下語句，啟動增量備份。 ~~~ obclient> ALTER SYSTEM BACKUP INCREMENTAL DATABASE; ~~~