# redis-集群
[TOC]
## 一、 redis集群知識介紹
###1. 集群介紹
Redis 集群是一個可以在多個 Redis 節點之間進行數據共享的設施(installation)。
Redis 集群不支持那些需要同時處理多個鍵的 Redis 命令, 因為執行這些命令需要在多個 Redis 節點之間移動數據,并且在高負載的情況下,這些命令將降低 Redis 集群的性能,并導致不可預測的行為。
Redis 集群通過分區(partition)來提供一定程度的可用性(availability): 即使集群中有一部分節點失效或者無法進行通訊,集群也可以繼續處理命令請求。
redis集群具備將數據自動切分(split)到多個節點的能力。
### 2. 集群數據共享
Redis 集群使用數據分片(sharding)而非一致性哈希(consistency hashing)來實現: 一個 Redis 集群包含 16384 個哈希槽(hash slot), 數據庫中的每個鍵都屬于這 16384 個哈希槽的其中一個, 集群使用公式 CRC16(key) % 16384 來計算鍵 key 屬于哪個槽, 其中 CRC16(key) 語句用于計算鍵 key 的 CRC16 校驗和 。
如果有三個節點,可以簡單的如下假設:
* 節點 A 負責處理 0 號至 5500 號哈希槽。
* 節點 B 負責處理 5501 號至 11000 號哈希槽。
* 節點 C 負責處理 11001 號至 16384 號哈希槽。
### 3. 運行機制
所有的redis節點彼此互聯(PING-PONG機制),內部使用二進制協議優化傳輸速度和帶寬.節點的fail是通過集群中超過半數的master節點檢測失效時才生效.
客戶端與redis節點直連,不需要中間proxy層.客戶端不需要連接集群所有節點,連接集群中任何一個可用節點即可
把所有的物理節點映射到[0-16383]slot上,cluster 負責維護node<->slot<->key
### 4. 集群的復制
為了使得集群在一部分節點下線或者無法與集群的大多數(majority)節點進行通訊的情況下 仍然可以正常運作, Redis 集群對節點使用了主從復制功能: 集群中的每個節點都有 1 個至 N 個復制品(replica), 其中一個復制品為主節點(master), 而其余的 N-1 個復制品為從節點(slave)。
在之前列舉的節點 A 、B 、C 的例子中, 如果節點 B 下線了, 那么集群將無法正常運行, 因為集群找不到節點來處理 5501 號至 11000 號的哈希槽。
假如在創建集群的時候(或者至少在節點 B 下線之前), 我們為主節點 B 添加了從節點 B1,那么當主節點 B 下線的時候, 集群就會將 B1 設置為新的主節點, 并讓它代替下線的主節點 B,繼續處理 5501 號至 11000 號的哈希槽, 這樣集群就不會因為主節點 B 的下線而無法正常運作了。
不過如果節點 B 和 B1 都下線的話, Redis 集群還是會停止運作。
集群的復制特性重用了 SLAVEOF 命令的代碼,所以集群節點的復制行為和 SLAVEOF 命令的復制行為完全相同。
### 5. 集群的故障轉移
在集群里面,節點會對其他節點進行下線檢測。
當一個主節點下線時,集群里面的其他主節點負責對下線主節點進行故障移。集群的節點集成了下線檢測和故障轉移等類似 Sentinel 的功能。
因為 Sentinel 是一個獨立運行的監控程序,而集群的下線檢測和故障轉移等功能是集成在節點里面的,它們的運行模式非常地不同,所以盡管這兩者的功能很相似,但集群的實現沒有重用 Sentinel 的代碼。
### 6. 在集群里面執行命令的兩種情況
集群中的節點會互相告知對方,自己負責處理哪些槽,并寫入自己的槽表,手到請求后,會根據槽表來進行檢查
1)命令發送到了正確的節點:
命令要處理的鍵所在的槽正好是由接收命令的節點負責,那么該節點執行命令,就像單機 Redis 服務器一樣。
2)命令發送到了錯誤的節點:
接收到命令的節點并非處理鍵所在槽的節點,那么節點將向客戶端返回一個轉向(redirection)錯誤,告知客戶端應該到哪個節點去執行這個命令,客戶端會根據錯誤提示的信息,重新向正確的節點發送命令。
## 二、 redis集群搭建
### 1. 規劃、搭建過程:
6個redis實例,一般會放到3臺硬件服務器, 端口號:7000-7005
注:在企業規劃中,一個分片的兩個節點,分到不同的物理機,防止硬件主機宕機造成的整個分片數據丟失。
1)安裝集群插件
```sh
# EPEL源安裝ruby支持
yum install ruby rubygems -y
# 使用國內源
gem sources -l
gem sources -a http://mirrors.aliyun.com/rubygems/
gem sources --remove http://rubygems.org/
gem install redis -v 3.3.3
gem sources -l
```
2)集群節點準備
```sh
mkdir /data/redis_m/700{0..5}
```
7000節點
```sh
cat >/data/redis_m/7000/redis.conf <<'EOF'
port 7000
daemonize yes
pidfile /data/redis_m/7000/redis.pid
loglevel notice
logfile "/data/redis_m/7000/redis.log"
dbfilename dump.rdb
dir /data/redis_m/7000
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF
```
7001節點
```sh
cat >/data/redis_m/7001/redis.conf <<'EOF'
port 7001
daemonize yes
pidfile /data/redis_m/7001/redis.pid
loglevel notice
logfile "/data/redis_m/7001/redis.log"
dbfilename dump.rdb
dir /data/redis_m/7001
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF
```
7002節點
```sh
cat >/data/redis_m/7002/redis.conf <<'EOF'
port 7002
daemonize yes
pidfile /data/redis_m/7002/redis.pid
loglevel notice
logfile "/data/redis_m/7002/redis.log"
dbfilename dump.rdb
dir /data/redis_m/7002
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF
```
7003節點
```sh
cat >/data/redis_m/7003/redis.conf <<'EOF'
port 7003
daemonize yes
pidfile /data/redis_m/7003/redis.pid
loglevel notice
logfile "/data/redis_m/7003/redis.log"
dbfilename dump.rdb
dir /data/redis_m/7003
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF
```
7004節點
```sh
cat >/data/redis_m/7004/redis.conf <<'EOF'
port 7004
daemonize yes
pidfile /data/redis_m/7004/redis.pid
loglevel notice
logfile "/data/redis_m/7004/redis.log"
dbfilename dump.rdb
dir /data/redis_m/7004
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF
```
7005節點
```sh
cat >/data/redis_m/7005/redis.conf <<'EOF'
port 7005
daemonize yes
pidfile /data/redis_m/7005/redis.pid
loglevel notice
logfile "/data/redis_m/7005/redis.log"
dbfilename dump.rdb
dir /data/redis_m/7005
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF
```
### 2. 啟動節點:
```sh
redis-server /data/redis_m/7000/redis.conf
redis-server /data/redis_m/7001/redis.conf
redis-server /data/redis_m/7002/redis.conf
redis-server /data/redis_m/7003/redis.conf
redis-server /data/redis_m/7004/redis.conf
redis-server /data/redis_m/7005/redis.conf
```
查看結果
```sh
[root@db01 ~]# ps -ef |grep redis
root 8854 1 0 03:56 ? 00:00:00 redis-server *:7000 [cluster]
root 8858 1 0 03:56 ? 00:00:00 redis-server *:7001 [cluster]
root 8860 1 0 03:56 ? 00:00:00 redis-server *:7002 [cluster]
root 8864 1 0 03:56 ? 00:00:00 redis-server *:7003 [cluster]
root 8866 1 0 03:56 ? 00:00:00 redis-server *:7004 [cluster]
root 8874 1 0 03:56 ? 00:00:00 redis-server *:7005 [cluster]
```
### 3. 將節點加入集群管理
```sh
redis-trib.rb create --replicas 1 127.0.0.1:7000 \
127.0.0.1:7001 \
127.0.0.1:7002 \
127.0.0.1:7003 \
127.0.0.1:7004 \
127.0.0.1:7005
```
### 4. 集群狀態查看
1)集群主節點狀態
```sh
redis-cli -p 7000 cluster nodes | grep master
```
2)集群從節點狀態
```sh
redis-cli -p 7000 cluster nodes | grep slave
```
### 5. 集群節點管理
1)增加新的節點
創建目錄
```sh
mkdir /data/redis_m/7006
mkdir /data/redis_m/7007
```
增加7006節點配置
```sh
cat >/data/redis_m/7006/redis.conf <<'EOF'
port 7006
daemonize yes
pidfile /data/redis_m/7006/redis.pid
loglevel notice
logfile "/data/redis_m/7006/redis.log"
dbfilename dump.rdb
dir /data/redis_m/7006
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF
```
增加7006節點配置
```sh
cat >/data/redis_m/7007/redis.conf <<'EOF'
port 7007
daemonize yes
pidfile /data/redis_m/7007/redis.pid
loglevel notice
logfile "/data/redis_m/7007/redis.log"
dbfilename dump.rdb
dir /data/redis_m/7007
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF
```
啟動新節點
```sh
redis-server /data/redis_m/7006/redis.conf
redis-server /data/redis_m/7007/redis.conf
```
2)添加主節點:
```sh
redis-trib.rb add-node 127.0.0.1:7006 127.0.0.1:7000
```
3)轉移slot(重新分片)
```sh
redis-trib.rb reshard 127.0.0.1:7000
```
4)添加從節點
```sh
redis-trib.rb add-node --slave --master-id bff7d6e603578033f53865de3e55fb2b8c526b60 127.0.0.1:7007 127.0.0.1:7000
```
### 6. 刪除節點
1)將需要刪除節點slot移動走
```sh
redis-trib.rb reshard 127.0.0.1:7000
```
2)刪除一個節點
刪除master節點之前首先要使用reshard移除master的全部slot,然后再刪除當前節點
```sh
# 主節點刪除:
redis-trib.rb del-node 127.0.0.1:7006 bff7d6e603578033f53865de3e55fb2b8c526b60
# 從節點刪除:
redis-trib.rb del-node 127.0.0.1:7007 2af3da4252ad1a7334d476e1b56498b85a1b488c
```
- shell編程
- 變量1-規范-環境變量-普通變量
- 變量2-位置-狀態-特殊變量
- 變量3-變量子串
- 變量4-變量賦值三種方法
- 變量5-數組相關
- 計算1-數值計算命令和案例
- 計算2-expr命令舉例
- 計算3-條件表達式和各種操作符
- 計算4-條件表達式和操作符案例
- 循環1-函數的概念與作用
- 循環2-if與case語法
- 循環3-while語法
- 循環4-for循環
- 其他1-判斷傳入的參數為0或整數的多種思路
- 其他2-while+read按行讀取文件
- 其他3-給輸出內容加顏色
- 其他4-shell腳本后臺運行知識
- 其他5-6種產生隨機數的方法
- 其他6-break,continue,exit,return區別
- if語法案例
- case語法案例
- 函數語法案例
- WEB服務軟件
- nginx相關
- 01-簡介與對比
- 02-日志說明
- 03-配置文件和虛擬主機
- 04-location模塊和訪問控制
- 05-status狀態模塊
- 06-rewrite重寫模塊
- 07-負載均衡和反向代理
- 08-反向代理監控虛擬IP地址
- nginx與https自簽發證書
- php-nginx-mysql聯動
- Nginx編譯安裝[1.12.2]
- 案例
- 不同客戶端顯示不同信息
- 上傳和訪問資源池分離
- 配置文件
- nginx轉發解決跨域問題
- 反向代理典型配置
- php相關
- C6編譯安裝php.5.5.32
- C7編譯php5
- C6/7yum安裝PHP指定版本
- tomcxat相關
- 01-jkd與tomcat部署
- 02-目錄-日志-配置文件介紹
- 03-tomcat配置文件詳解
- 04-tomcat多實例和集群
- 05-tomcat監控和調優
- 06-Tomcat安全管理規范
- show-busy-java-threads腳本
- LVS與keepalived
- keepalived
- keepalived介紹和部署
- keepalived腦裂控制
- keepalived與nginx聯動-監控
- keepalived與nginx聯動-雙主
- LVS負載均衡
- 01-LVS相關概念
- 02-LVS部署實踐-ipvsadm
- 03-LVS+keepalived部署實踐
- 04-LVS的一些問題和思路
- mysql數據庫
- 配置和腳本
- 5.6基礎my.cnf
- 5.7基礎my.cnf
- 多種安裝方式
- 詳細用法和命令
- 高可用和讀寫分離
- 優化和壓測
- docker與k8s
- docker容器技術
- 1-容器和docker基礎知識
- 2-docker軟件部署
- 3-docker基礎操作命令
- 4-數據的持久化和共享互連
- 5-docker鏡像構建
- 6-docker鏡像倉庫和標簽tag
- 7-docker容器的網絡通信
- 9-企業級私有倉庫harbor
- docker單機編排技術
- 1-docker-compose快速入門
- 2-compose命令和yaml模板
- 3-docker-compose命令
- 4-compose/stack/swarm集群
- 5-命令補全和資源限制
- k8s容器編排工具
- mvn的dockerfile打包插件
- openstack與KVM
- kvm虛擬化
- 1-KVM基礎與快速部署
- 2-KVM日常管理命令
- 3-磁盤格式-快照和克隆
- 4-橋接網絡-熱添加與熱遷移
- openstack云平臺
- 1-openstack基礎知識
- 2-搭建環境準備
- 3-keystone認證服務部署
- 4-glance鏡像服務部署
- 5-nova計算服務部署
- 6-neutron網絡服務部署
- 7-horizon儀表盤服務部署
- 8-啟動openstack實例
- 9-添加計算節點流程
- 10-遷移glance鏡像服務
- 11-cinder塊存儲服務部署
- 12-cinder服務支持NFS存儲
- 13-新增一個網絡類型
- 14-云主機冷遷移前提設置
- 15-VXALN網絡類型配置
- 未分類雜項
- 部署環境準備
- 監控
- https證書
- python3.6編譯安裝
- 編譯安裝curl[7.59.0]
- 修改Redhat7默認yum源為阿里云
- 升級glibc至2.17
- rabbitmq安裝和啟動
- rabbitmq多實例部署[命令方式]
- mysql5.6基礎my.cnf
- centos6[upstart]/7[systemd]創建守護進程
- Java啟動參數詳解
- 權限控制方案
- app發包倉庫
- 版本發布流程
- elk日志系統
- rsyslog日志統一收集系統
- ELK系統介紹及YUM源
- 快速安裝部署ELK
- Filebeat模塊講解
- logstash的in/output模塊
- logstash的filter模塊
- Elasticsearch相關操作
- ES6.X集群及head插件
- elk收集nginx日志(json格式)
- kibana說明-漢化-安全
- ES安裝IK分詞器
- zabbix監控
- zabbix自動注冊模板實現監控項自動注冊
- hadoop大數據集群
- hadoop部署
- https證書
- certbot網站
- jenkins與CI/CD
- 01-Jenkins部署和初始化
- 02-Jenkins三種插件安裝方式
- 03-Jenkins目錄說明和備份
- 04-git與gitlab項目準備
- 05-構建自由風格項目和相關知識
- 06-構建html靜態網頁項目
- 07-gitlab自動觸發項目構建
- 08-pipelinel流水線構建項目
- 09-用maven構建java項目
- iptables
- 01-知識概念
- 02-常規命令實戰
- 03-企業應用模板
- 04-企業應用模板[1鍵腳本]
- 05-企業案例-共享上網和端口映射
- SSH與VPN
- 常用VPN
- VPN概念和常用軟件
- VPN之PPTP部署[6.x][7.x]
- 使用docker部署softether vpn
- softEther-vpn靜態路由表推送
- SSH服務
- SSH介紹和部署
- SSH批量分發腳本
- 開啟sftp日志并限制sftp訪問目錄
- sftp賬號權限分離-開發平臺
- ssh配置文件最佳實踐
- git-github-gitlab
- git安裝部署
- git詳細用法
- github使用說明
- gitlab部署和使用
- 緩存數據庫
- zookeeper草稿
- mongodb數據庫系列
- mongodb基本使用
- mongodb常用命令
- MongoDB配置文件詳解
- mongodb用戶認證管理
- mongodb備份與恢復
- mongodb復制集群
- mongodb分片集群
- docker部署mongodb
- memcached
- memcached基本概念
- memcached部署[6.x][7.x]
- memcached參數和命令
- memcached狀態和監控
- 會話共享和集群-優化-持久化
- memcached客戶端-web端
- PHP測試代碼
- redis
- 1安裝和使用
- 2持久化-事務-鎖
- 3數據類型和發布訂閱
- 4主從復制和高可用
- 5redis集群
- 6工具-安全-pythonl連接
- redis配置文件詳解
- 磁盤管理和存儲
- Glusterfs分布式存儲
- GlusterFS 4.1 版本選擇和部署
- Glusterfs常用命令整理
- GlusterFS 4.1 深入使用
- NFS文件存儲
- NFS操作和部署
- NFS文件系統-掛載和優化
- sersync與inotify
- rsync同步服務
- rsyncd.conf
- rsync操作和部署文檔
- rsync常見錯誤處理
- inotify+sersync同步服務
- inotify安裝部署
- inotify最佳腳本
- sersync安裝部署
- 時間服務ntp和chrony
- 時間服務器部署
- 修改utc時間為cst時間
- 批量操作與自動化
- cobbler與kickstart
- KS+COBBLER文件
- cobbler部署[7.x]
- kickstart部署[7.x]
- kickstar-KS文件和語法解析
- kickstart-PXE配置文件解析
- 自動化之ansible
- ansible部署和實踐
- ansible劇本編寫規范
- 配置文件示例
- 內網DNS服務
- 壓力測試
- 壓測工具-qpefr測試帶寬和延時