數據副本與服務 · k8s原理與實踐

[TOC] # 數據副本與服務為了數據安全和提供高可用的數據服務，每個分區數據在物理上存儲多份，每一份叫做分區的一個副本。每個副本，包括存儲在磁盤上的靜態數據（SSTable）、存儲在內存的增量數據（MemTable）、以及記錄事務的日志三類主要的數據。根據存儲數據種類的不同，副本有幾種不同的類型，以支持不同業務在在數據安全、性能伸縮性、可用性、成本等之間的選擇。 * 全能型副本也就是目前支持的普通副本，擁有事務日志、MemTable 和 SSTable 等全部完整的數據和功能。它可以隨時快速切換為 leader 對外提供服務。 * 日志型副本只包含日志的副本，沒有 MemTable 和 SSTable。它參與日志投票并對外提供日志服務，可以參與其他副本的恢復，但自己不能變為主提供數據庫服務。 * 只讀型副本包含完整的日志、MemTable 和 SSTable等，但是它的日志比較特殊。它不作為paxos成員參與日志的投票，而是作為一個觀察者實時追趕 paxos 成員的日志，并在本地回放。這種副本可以在業務對讀取數據的一致性要求不高的時候提供只讀服務。因其不加入 paxos 成員組，又不會造成投票成員增加導致事務提交延時的增加。三種副本的具體差異如下表所示。 <div data-tag="body" id="body-xim-rla-nar" class="body"> 三種副本的具體差異如下表所示。</li></ul><div id="BtCSC" data-tag="div" class="div"><table data-tag="table" id="table-z6n-t9c-j95" class="table"><colgroup width="67" span="1" data-tag="col" id="col-qcf-duy-uq9" colwidth="1*" colnum="1" colname="col1" style="width:11.11111111111111%" class="col"></colgroup><colgroup width="115" span="1" data-tag="col" id="col-c6u-ewc-p3v" colwidth="1*" colnum="2" colname="col2" style="width:11.11111111111111%" class="col"></colgroup><colgroup width="108" span="1" data-tag="col" id="col-as4-6y9-ii6" colwidth="1*" colnum="3" colname="col3" style="width:11.11111111111111%" class="col"></colgroup><colgroup width="99" span="1" data-tag="col" id="col-10u-268-ok6" colwidth="1*" colnum="4" colname="col4" style="width:11.11111111111111%" class="col"></colgroup><colgroup width="68" span="1" data-tag="col" id="col-v5u-pvm-tl1" colwidth="1*" colnum="5" colname="col5" style="width:11.11111111111111%" class="col"></colgroup><colgroup width="86" span="1" data-tag="col" id="col-nrk-dyi-ze0" colwidth="1*" colnum="6" colname="col6" style="width:11.11111111111111%" class="col"></colgroup><colgroup width="68" span="1" data-tag="col" id="col-rm9-ulu-qx1" colwidth="1*" colnum="7" colname="col7" style="width:11.11111111111111%" class="col"></colgroup><colgroup width="80" span="1" data-tag="col" id="col-nq7-b4v-2cw" colwidth="1*" colnum="8" colname="col8" style="width:11.11111111111111%" class="col"></colgroup><colgroup width="80" span="1" data-tag="col" id="col-xzh-eom-z48" colwidth="1*" colnum="9" colname="col9" style="width:11.11111111111111%" class="col"></colgroup><thead id="thead-5hm-z81-u0t" class="thead"><tr id="tr-eaz-xu2-i1i"><th id="td-sm8-kvi-tah">類型</th><th id="td-2mw-j2t-v1v">LOG</th><th id="td-45n-si4-xx6">MemTable</th><th id="td-a4y-w2u-91z">SSTable</th><th id="td-opa-mli-4kn">數據安全</th><th id="td-msj-zun-8w1">恢復為 leader 時間</th><th id="td-iat-qnf-kej">資源成本</th><th id="td-okt-e93-0w3">服務</th><th id="td-m8k-xne-qfx">名稱(簡寫)</th></tr></thead><tbody data-tag="tbody" id="tbody-y0g-zux-sdl" class="tbody"><tr data-tag="tr" id="tr-wyh-s3g-0ze" class="tr"><td data-tag="td" id="td-ene-cy5-zpg" class="td">全能型</td><td data-tag="td" id="td-j5a-spj-t6r" class="td">有，參與投票(SYNC_CLOG)</td><td data-tag="td" id="td-4ns-vl6-gcn" class="td">有(WITH_MEMSTORE)</td><td data-tag="td" id="td-qfd-h3c-xoe" class="td">有(WITH_SSSTORE)</td><td data-tag="td" id="td-gs3-a7p-zum" class="td">高</td><td data-tag="td" id="td-f9r-0fq-hnq" class="td">快</td><td data-tag="td" id="td-jwn-p26-usq" class="td">高</td><td data-tag="td" id="td-a2k-sk3-d0c" class="td">leader 提供讀寫，follower 可非一致性讀</td><td data-tag="td" id="td-6eq-lkj-x6x" class="td">FULL(F)</td></tr><tr data-tag="tr" id="tr-ckq-067-9vx" class="tr"><td data-tag="td" id="td-q4n-y7j-blt" class="td">日志型</td><td data-tag="td" id="td-boo-659-z7l" class="td">有，參與投票(SYNC_CLOG)</td><td data-tag="td" id="td-0b7-iz9-6i7" class="td">無(WITHOUT_MEMSTORE)</td><td data-tag="td" id="td-73b-xch-xba" class="td">無(WITHOUT_SSSTORE)</td><td data-tag="td" id="td-0wm-1kb-8od" class="td">低</td><td data-tag="td" id="td-v97-6k7-gca" class="td">不支持</td><td data-tag="td" id="td-ynd-sgt-3w3" class="td">低</td><td data-tag="td" id="td-vmj-rz6-hog" class="td">不可讀寫</td><td data-tag="td" id="td-la1-sjs-zxi" class="td">LOGONLY(L)</td></tr><tr data-tag="tr" id="tr-3xh-3pt-kzf" class="tr"><td data-tag="td" id="td-wjt-6e6-usc" class="td">只讀型</td><td data-tag="td" id="td-gfk-ucl-ext" class="td">有，異步日志，但不屬于 paxos 組，只是 listener (ASYNC_CLOG)</td><td data-tag="td" id="td-217-elr-ipv" class="td">有(WITH_MEMSTORE)</td><td data-tag="td" id="td-au2-a9t-cnu" class="td">有(WITH_SSSTORE)</td><td data-tag="td" id="td-39y-12b-hp3" class="td">中</td><td data-tag="td" id="td-33l-jaz-3qu" class="td">不支持</td><td data-tag="td" id="td-s8g-p20-uze" class="td">高</td><td data-tag="td" id="td-crg-zg3-fmh" class="td">可非一致性讀</td><td data-tag="td" id="td-8zx-d7q-698" class="td">READONLY(R)</td></tr></tbody></table></div></div> 租戶內創建的分區都是存儲在**資源單元**中，分區副本的個數和分布方式是由租戶的資源單元決定的。 OceanBase 數據庫集群內部** Zone** 是副本復制的**邊界**，通常情況每個 Zone 會存儲一份所有數據的副本，一個分區在每個 Zone 內有且只有一個副本。當租戶的資源單元是分布在一個 Region 的三個 Zone 內時，租戶創建的分區會有三個副本，在每個 Zone 內有一個副本。當租戶的資源單元是分布在三個 Region 的五個 Zone 時，租戶創建的分區表會有五個副本。一個分區的在多個副本中有一個副本會被選舉成**主副本**，主副本負責**數據庫服務，提供讀寫能力**，數據的修改以 Redo 日志的形式通過 Paxos 一致性協議在多個副本間同步，其他備副本通過回放同步到 Redo 日志，保持與主副本的一致。分區**主副本**的**選擇策略**由租戶的 **primary_zone **屬性決定，在創建租戶的命令中可以指定 primary_zone 屬性，也可以用 alter 語句來修改。 ## 示例：創建租戶并指定 primary\_zone 下面的語句創建了一個 primary\_zone 在 zone1 的租戶。primary\_zone=’zone1’ 表示租戶 local\_warehouse 創建的分區中所有的主都選在 zone1 上，只有當 zone1 出現故障時，分區的主才會選到其他的 Zone 上。 ~~~ create tenant tt1 replica_num = 1, primary_zone='zone1', resource_pool_list=('pool_large1'); ~~~ primay\_zone 還可以指定多個 Zone，而且可以指定優先級。比如： * primary\_zone=’zone1,zone2’，表示主在 zone1、zone2 兩個 Zone 上均勻分布。 * primary\_zone=’zone1;zone2;zone3’，表示主在 zone1 上，如果 zone1 出現故障，那么主選到 zone2 上。 primary\_zone 的配置中，逗號表示前后的 Zone 是同等優先級，分號表示前后的 Zone 是先后的優先級。逗號和分號可以混用，primary\_zone=’zone1,zone2;zone3,zone4;zone5’ 表示的是主選在 zone1 和 zone2 上均勻分布，如果 zone1 出現故障，那么主會選在 zone2 上，如果 zone1、zone2 出現故障，那么主會選在 zone3、zone4 上均勻分布。