[TOC]
## 一 復制集概念
### A 復制集概述
Mongodb復制集(replica set)由一組Mongod實例(進程)組成,包含一個Primary節點和多個Secondary節點,Mongodb Driver(客戶端)的所有數據都寫入Primary,Secondary通過oplog來同步Primary的數據,保證主從節點數據的一致性;
復制集在完成主從復制的基礎上,通過心跳機制,一旦Primary節點出現宕機,則觸發選舉一個新的主節點,剩下的secondary節點指向新的Primary,時間應該在10-30s內完成感知Primary節點故障,實現高可用數據庫集群
**特點:**
* Primary節點是唯一的,但不是固定的
* 由大多數據原則保證數據的一致性
* Secondary節點無法寫入(默認情況下,不使用驅動連接時,也是不能查詢的)
* 相對于傳統的主從結構,復制集可以自動容災
### B 復制集原理
**角色(按是否存儲數據劃分):**
* Primary
主節點,由選舉產生,負責客戶端的寫操作,產生oplog日志文件
* Secondary
從節點,負責客戶端的讀操作,提供數據的備份和故障的切換
* Arbiter
仲裁節點,只參與選舉的投票,不會成為primary,也不向Primary同步數據
>若部署了一個2個節點的復制集,1個Primary,1個Secondary,任意節點宕機,復制集將不能提供服務了(無法選出Primary),這時可以給復制集添加一個Arbiter節點,即使有節點宕機,仍能選出Primary
**角色(按類型區分):**
* Standard(標準)
這種是常規節點,它存儲一份完整的數據副本,參與投票選舉,有可能成為主節點
* Passive(被動)
存儲完整的數據副本,參與投票,不能成為活躍節點
* Arbiter(投票)
仲裁節點只參與投票,不接收復制的數據,也不能成為活躍節點
>每個參與節點(非仲裁者)有個優先權(0-1000),優先權(priority)為0則是被動的,不能成為活躍節點;
優先權不為0的,按照由大到小選出活躍節點,優先值一樣的則看誰的數據比較新
Mongodb 3.0里,復制集成員最多50個,參與Primary選舉投票的成員最多7個
### C 選舉
每個節點通過優先級定義出節點的類型(標準、被動、投票)
標準節點通過對比自身數據進行選舉出primary節點或者secondary節點
**影響選舉的因素:**
1. 心跳檢測
復制集內成員每隔兩秒向其他成員發送心跳檢測信息,若10秒內無響應,則標記其為不可用
2. 節點數量
在多個節點中,最少保證兩個節點為活躍狀態,如果集群中共三個節點,掛掉兩個節點,那么剩余的節點無論狀態是primary還是處于選舉過程中,都會直接被降權為secondary
**觸發選舉的情況:**
1. 初始化狀態
2. 從節點們無法與主節點進行通信
3. 主節點辭職
**主節點辭職的情況:**
* 在接收到replSetStepDown命令后
* 在現有的環境中,其他secondary節點的數據落后于本身10s內,且擁有更高優先級
* 當主節點無法與群集中多數節點通信
>當主節點辭職后,主節點將關閉自身所有的連接,避免出現客戶端在從節點進行寫入操作
## 二 復制集搭建
### A 配置文件準備
**創建目錄**
```sh
mkdir -p /opt/mongodb/2802{0,1,2,3}/{conf,data,log}
```
**創建單個配置文件**
```sh
[mongo@noah ~]$ vim /opt/mongodb/28020/conf/mongod.conf
systemLog:
destination: file
path: /opt/mongodb/28020/log/mongodb.log
logAppend: true
storage:
journal:
enabled: true
dbPath: /opt/mongodb/28020/data
directoryPerDB: true
wiredTiger:
engineConfig:
cacheSizeGB: 1
directoryForIndexes: true
collectionConfig:
blockCompressor: zlib
indexConfig:
prefixCompression: true
processManagement:
fork: true
net:
port: 28020
replication:
oplogSizeMB: 2048
replSetName: my_repl
```
**復制配置文件為多份**
```sh
cp /opt/mongodb/2802{0,1}/conf/mongod.conf
cp /opt/mongodb/2802{0,2}/conf/mongod.conf
cp /opt/mongodb/2802{0,3}/conf/mongod.conf
```
**修改配置文件端口**
```sh
sed -i 's#28020#28021#g' /opt/mongodb/28021/conf/mongod.conf
sed -i 's#28020#28022#g' /opt/mongodb/28022/conf/mongod.conf
sed -i 's#28020#28023#g' /opt/mongodb/28023/conf/mongod.conf
```
### B 配置復制集群
**啟動多個mongodb**
```sh
mongod -f /opt/mongodb/28020/conf/mongod.conf
mongod -f /opt/mongodb/28021/conf/mongod.conf
mongod -f /opt/mongodb/28022/conf/mongod.conf
mongod -f /opt/mongodb/28023/conf/mongod.conf
```
**創建復制集群**
```sh
mongo --port 28020
config = {_id: 'my_repl', members: [
{_id: 0, host: '192.168.3.241:28020'},
{_id: 1, host: '192.168.3.241:28021'},
{_id: 2, host: '192.168.3.241:28022'}]
}
rs.initiate(config)
```
**查看復制集狀態:**
```SH
rs.status(); //查看整體復制集狀態
rs.isMaster(); // 查看當前是否是主節點
rs.conf(); //查看復制集配置情況
```
### C 復制集群修改
**添加刪除節點**
```sh
rs.remove("ip:port"); // 刪除一個節點
rs.add("ip:port"); // 新增從節點
rs.addArb("ip:port"); // 新增仲裁節點
```
**重新配置集群**
```sh
config = {_id: 'my_repl', members: [
{_id: 0, host: '192.168.3.241:28020'},
{_id: 1, host: '192.168.3.241:28021'},
{_id: 2, host: '192.168.3.241:28022',"arbiterOnly":true}]
}
rs.reconfig(config)
```
## 三 復制集特殊節點
### A 特殊節點:
* arbiter節點
主要負責選主過程中的投票,但是不存儲任何數據,也不提供任何服務
* hidden節點
隱藏節點,不參與選主,也不對外提供服務。
* delay節點
延時節點,數據落后于主庫一段時間,因為數據是延時的,也不應該提供服務或參與選主,所以通常會配合hidden(隱藏)
一般情況下會將delay+hidden一起配合使用
**添加特殊節點的方法**
1. 可以在搭建過程中設置特殊節點
2. 可以通過修改配置的方式將普通從節點設置為特殊節點
需要找到需要改為延遲性同步的數組號,然后修改數據數據
### B 配置延時節點
查看所有節點的配置
```sh
> rs.conf()
"members" : [
{
"_id" : 0, --->成員號
"host" : "10.0.0.51:28017", --->節點信息
"arbiterOnly" : false, --->是否為仲裁節點
"buildIndexes" : true,
"hidden" : false, --->是否為隱藏節點
"priority" : 1, ---->選主權重
"tags" : {
},
"slaveDelay" : NumberLong(0), --->延時的時間
"votes" : 1
}
```
在線修改配置:
```sh
#將所有配置信息定義到一個變量cfg 中
cfg=rs.conf()
#從[成員號]對應的成員配置信息,調取某項配置進行修改
cfg.members[3].priority=0
cfg.members[3].hidden=true
cfg.members[3].slaveDelay=120
#重新加載配置
rs.reconfig(cfg)
```
取消以上配置
```sh
cfg=rs.conf()
cfg.members[3].priority=1
cfg.members[3].hidden=false
cfg.members[3].slaveDelay=0
rs.reconfig(cfg)
```
>注意:如果所有節點,沒有0號節點時,members[號碼],不再是_id值了,要手工數一下成員的位置號(從0開始數)
配置成功后,通過以下命令查詢配置后的屬性
```sh
rs.conf();
```
## 四 集群讀寫分離
對于MongoDB來說,主節點一般用于寫數據,從節點用于讀數據,且主節點也并不是固定的(當主節點宕機后會選舉出一個新的主節點),所以在生產環境時客戶端不能直連主節點,要**配置集群節點**:
~~~
<mongo:mongo-client replica-set="ip1:port1,ip2:port2,ip3:port3">
<mongo:client-options read-preference="SECONDARY_PREFERRED"/>
</mongo:mongo-client>
~~~
通過**read-preference**參數控制讀寫分離方式,其類型有以下幾種:
* PRIMARY(默認)
讀操作都在主節點,若主節點不可用則報錯。
* PRIMARY\_PREFERRED
首選主節點,若主節點不可用則轉移到其它從節點。
* SECONDARY
讀從節點,不可用則報錯。
* SECONDARY\_PREFERRED(推薦)
首選從節點,若是特殊情況則在主節點讀(但主節點架構)。
* NEAREST
最鄰近主節點。
## 五 副本集其他操作命令:
1. 查看副本集的配置信息
```sh
admin> rs.config()
或者
admin> rs.conf()
```
2. 查看副本集各成員的狀態
```sh
admin> rs.status()
```
3. 副本集角色切換(不要人為隨便操作)
```sh
admin> rs.stepDown()
注:
admin> rs.freeze(300) //鎖定從,使其不會轉變成主庫
freeze()和stepDown單位都是秒。
```
4. 設置副本節點可讀:在副本節點執行
```sh
admin> rs.slaveOk()
```
5. 查看副本節點(監控主從延時)
```sh
admin> rs.printSlaveReplicationInfo()
source: 192.168.1.22:27017
syncedTo: Thu May 26 2016 10:28:56 GMT+0800 (CST)
0 secs (0 hrs) behind the primary
```
- shell編程
- 變量1-規范-環境變量-普通變量
- 變量2-位置-狀態-特殊變量
- 變量3-變量子串
- 變量4-變量賦值三種方法
- 變量5-數組相關
- 計算1-數值計算命令和案例
- 計算2-expr命令舉例
- 計算3-條件表達式和各種操作符
- 計算4-條件表達式和操作符案例
- 循環1-函數的概念與作用
- 循環2-if與case語法
- 循環3-while語法
- 循環4-for循環
- 其他1-判斷傳入的參數為0或整數的多種思路
- 其他2-while+read按行讀取文件
- 其他3-給輸出內容加顏色
- 其他4-shell腳本后臺運行知識
- 其他5-6種產生隨機數的方法
- 其他6-break,continue,exit,return區別
- if語法案例
- case語法案例
- 函數語法案例
- WEB服務軟件
- nginx相關
- 01-簡介與對比
- 02-日志說明
- 03-配置文件和虛擬主機
- 04-location模塊和訪問控制
- 05-status狀態模塊
- 06-rewrite重寫模塊
- 07-負載均衡和反向代理
- 08-反向代理監控虛擬IP地址
- nginx與https自簽發證書
- php-nginx-mysql聯動
- Nginx編譯安裝[1.12.2]
- 案例
- 不同客戶端顯示不同信息
- 上傳和訪問資源池分離
- 配置文件
- nginx轉發解決跨域問題
- 反向代理典型配置
- php相關
- C6編譯安裝php.5.5.32
- C7編譯php5
- C6/7yum安裝PHP指定版本
- tomcxat相關
- 01-jkd與tomcat部署
- 02-目錄-日志-配置文件介紹
- 03-tomcat配置文件詳解
- 04-tomcat多實例和集群
- 05-tomcat監控和調優
- 06-Tomcat安全管理規范
- show-busy-java-threads腳本
- LVS與keepalived
- keepalived
- keepalived介紹和部署
- keepalived腦裂控制
- keepalived與nginx聯動-監控
- keepalived與nginx聯動-雙主
- LVS負載均衡
- 01-LVS相關概念
- 02-LVS部署實踐-ipvsadm
- 03-LVS+keepalived部署實踐
- 04-LVS的一些問題和思路
- mysql數據庫
- 配置和腳本
- 5.6基礎my.cnf
- 5.7基礎my.cnf
- 多種安裝方式
- 詳細用法和命令
- 高可用和讀寫分離
- 優化和壓測
- docker與k8s
- docker容器技術
- 1-容器和docker基礎知識
- 2-docker軟件部署
- 3-docker基礎操作命令
- 4-數據的持久化和共享互連
- 5-docker鏡像構建
- 6-docker鏡像倉庫和標簽tag
- 7-docker容器的網絡通信
- 9-企業級私有倉庫harbor
- docker單機編排技術
- 1-docker-compose快速入門
- 2-compose命令和yaml模板
- 3-docker-compose命令
- 4-compose/stack/swarm集群
- 5-命令補全和資源限制
- k8s容器編排工具
- mvn的dockerfile打包插件
- openstack與KVM
- kvm虛擬化
- 1-KVM基礎與快速部署
- 2-KVM日常管理命令
- 3-磁盤格式-快照和克隆
- 4-橋接網絡-熱添加與熱遷移
- openstack云平臺
- 1-openstack基礎知識
- 2-搭建環境準備
- 3-keystone認證服務部署
- 4-glance鏡像服務部署
- 5-nova計算服務部署
- 6-neutron網絡服務部署
- 7-horizon儀表盤服務部署
- 8-啟動openstack實例
- 9-添加計算節點流程
- 10-遷移glance鏡像服務
- 11-cinder塊存儲服務部署
- 12-cinder服務支持NFS存儲
- 13-新增一個網絡類型
- 14-云主機冷遷移前提設置
- 15-VXALN網絡類型配置
- 未分類雜項
- 部署環境準備
- 監控
- https證書
- python3.6編譯安裝
- 編譯安裝curl[7.59.0]
- 修改Redhat7默認yum源為阿里云
- 升級glibc至2.17
- rabbitmq安裝和啟動
- rabbitmq多實例部署[命令方式]
- mysql5.6基礎my.cnf
- centos6[upstart]/7[systemd]創建守護進程
- Java啟動參數詳解
- 權限控制方案
- app發包倉庫
- 版本發布流程
- elk日志系統
- rsyslog日志統一收集系統
- ELK系統介紹及YUM源
- 快速安裝部署ELK
- Filebeat模塊講解
- logstash的in/output模塊
- logstash的filter模塊
- Elasticsearch相關操作
- ES6.X集群及head插件
- elk收集nginx日志(json格式)
- kibana說明-漢化-安全
- ES安裝IK分詞器
- zabbix監控
- zabbix自動注冊模板實現監控項自動注冊
- hadoop大數據集群
- hadoop部署
- https證書
- certbot網站
- jenkins與CI/CD
- 01-Jenkins部署和初始化
- 02-Jenkins三種插件安裝方式
- 03-Jenkins目錄說明和備份
- 04-git與gitlab項目準備
- 05-構建自由風格項目和相關知識
- 06-構建html靜態網頁項目
- 07-gitlab自動觸發項目構建
- 08-pipelinel流水線構建項目
- 09-用maven構建java項目
- iptables
- 01-知識概念
- 02-常規命令實戰
- 03-企業應用模板
- 04-企業應用模板[1鍵腳本]
- 05-企業案例-共享上網和端口映射
- SSH與VPN
- 常用VPN
- VPN概念和常用軟件
- VPN之PPTP部署[6.x][7.x]
- 使用docker部署softether vpn
- softEther-vpn靜態路由表推送
- SSH服務
- SSH介紹和部署
- SSH批量分發腳本
- 開啟sftp日志并限制sftp訪問目錄
- sftp賬號權限分離-開發平臺
- ssh配置文件最佳實踐
- git-github-gitlab
- git安裝部署
- git詳細用法
- github使用說明
- gitlab部署和使用
- 緩存數據庫
- zookeeper草稿
- mongodb數據庫系列
- mongodb基本使用
- mongodb常用命令
- MongoDB配置文件詳解
- mongodb用戶認證管理
- mongodb備份與恢復
- mongodb復制集群
- mongodb分片集群
- docker部署mongodb
- memcached
- memcached基本概念
- memcached部署[6.x][7.x]
- memcached參數和命令
- memcached狀態和監控
- 會話共享和集群-優化-持久化
- memcached客戶端-web端
- PHP測試代碼
- redis
- 1安裝和使用
- 2持久化-事務-鎖
- 3數據類型和發布訂閱
- 4主從復制和高可用
- 5redis集群
- 6工具-安全-pythonl連接
- redis配置文件詳解
- 磁盤管理和存儲
- Glusterfs分布式存儲
- GlusterFS 4.1 版本選擇和部署
- Glusterfs常用命令整理
- GlusterFS 4.1 深入使用
- NFS文件存儲
- NFS操作和部署
- NFS文件系統-掛載和優化
- sersync與inotify
- rsync同步服務
- rsyncd.conf
- rsync操作和部署文檔
- rsync常見錯誤處理
- inotify+sersync同步服務
- inotify安裝部署
- inotify最佳腳本
- sersync安裝部署
- 時間服務ntp和chrony
- 時間服務器部署
- 修改utc時間為cst時間
- 批量操作與自動化
- cobbler與kickstart
- KS+COBBLER文件
- cobbler部署[7.x]
- kickstart部署[7.x]
- kickstar-KS文件和語法解析
- kickstart-PXE配置文件解析
- 自動化之ansible
- ansible部署和實踐
- ansible劇本編寫規范
- 配置文件示例
- 內網DNS服務
- 壓力測試
- 壓測工具-qpefr測試帶寬和延時