將原基礎的 `ingress-nginx` 一個副本提升到多個副本。然后再提供VIP進行訪問。
以下三種方式都可以實現高可用
1. LoadBalancer
2. nodeport + VIP
3. hostport + VIP
- 其中 `LoadBalancer` 是在公有云上使用,不過自管集群也可以安裝 `Metallb` 也可以實現 `LoadBalancer` 的方式。
- `Metallb` 的官網為 https://metallb.universe.tf/installation/
這里演示 `hostport + keepalived + nginx` 的組合方式。實現高可用和高并發。
## 安裝nginx
**創建目錄**
```shell
mkdir -p /etc/nginx/{conf.d,stream}
```
**nginx主配置**
```shell
cat <<-"EOF" | sudo tee /etc/nginx/nginx.conf > /dev/null
user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log notice;
pid /var/run/nginx.pid;
events {
worker_connections 1024;
}
http {
include /etc/nginx/mime.types;
default_type application/octet-stream;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log /var/log/nginx/access.log main;
sendfile on;
#tcp_nopush on;
keepalive_timeout 65;
#gzip on;
include /etc/nginx/conf.d/*.conf;
}
stream {
log_format proxy '$remote_addr $remote_port - [$time_local] $status $protocol '
'"$upstream_addr" "$upstream_bytes_sent" "$upstream_connect_time"';
include /etc/nginx/stream/*.conf;
}
EOF
```
**四層代理ingress服務**
```shell
cat <<-"EOF" | sudo tee /etc/nginx/stream/ingress.conf > /dev/null
upstream http {
server 192.168.31.103:80 max_fails=3 fail_timeout=5s;
server 192.168.31.79:80 max_fails=3 fail_timeout=5s;
}
server {
listen 80;
# proxy_protocol on;
proxy_pass http;
access_log /var/log/nginx/ingress_http_tcp_access.log proxy;
error_log /var/log/nginx/ingress_http_tcp_error.log;
}
upstream https {
server 192.168.31.103:443 max_fails=3 fail_timeout=5s;
server 192.168.31.79:443 max_fails=3 fail_timeout=5s;
}
server {
listen 443;
# proxy_protocol on;
proxy_pass https;
access_log /var/log/nginx/ingress_https_tcp_access.log proxy;
error_log /var/log/nginx/ingress_https_error.log;
}
EOF
```
> 注意:修改server替換成實際的 master節點 IP地址
**docker-compose配置**
```shell
cat <<-EOF | sudo tee /etc/nginx/docker-compose.yaml > /dev/null
version: "3"
services:
nginx:
container_name: nginx
image: nginx:1.21-alpine
volumes:
- "./stream:/etc/nginx/stream:ro"
- "./conf.d:/etc/nginx/conf.d:ro"
- "./nginx.conf:/etc/nginx/nginx.conf:ro"
- "./logs:/var/log/nginx"
- "/usr/share/zoneinfo/Asia/Shanghai:/etc/localtime:ro"
restart: always
ports:
- "6443:6443"
- "80:80"
- "443:443"
EOF
```
**啟動nginx**
```shell
docker-compose -f /etc/nginx/docker-compose.yaml up -d
```
## 安裝keepalived
**keepalived配置**
```shell
$ sudo mkdir /etc/keepalived
$ cat <<-EOF | sudo tee -a /etc/keepalived/keepalived.conf > /dev/null
include /etc/keepalived/keepalived_ingress.conf
EOF
$ cat <<-EOF | sudo tee /etc/keepalived/keepalived_ingress.conf > /dev/null
vrrp_script ingress {
# 檢測腳本路徑
script "/etc/keepalived/chk_ingress.sh"
# 執行檢測腳本的用戶
user root
# 腳本調用之間的秒數
interval 1
# 轉換失敗所需的次數
fall 5
# 轉換成功所需的次數
rise 3
# 按此權重調整優先級
weight -50
}
vrrp_instance ingress {
# 狀態是主節點還是從節點
state MASTER
# inside_network 的接口,由 vrrp 綁定。
interface eth0
# 虛擬路由id,根據該id進行組成主從架構
virtual_router_id 200
# 初始優先級
# 最后優先級權重計算方法
# (1) weight 為正數,priority - weight
# (2) weight 為負數,priority + weight
priority 200
# 加入集群的認證
authentication {
auth_type PASS
auth_pass pwd200
}
# keepalivd配置成單播模式
## 單播的源地址
unicast_src_ip 192.168.31.103
## 單播的對端地址
unicast_peer {
192.168.31.79
}
# vip 地址
virtual_ipaddress {
192.168.31.188
}
# 健康檢查腳本
track_script {
ingress
}
}
EOF
```
**keepalived檢測腳本**
```shell
$ cat <<-EOF | sudo tee /etc/keepalived/chk_ingress.sh > /dev/null
#!/bin/sh
count=\$(netstat -lntup | egrep ":443|:80" | wc -l)
if [ "\$count" -ge 2 ];then
# 退出狀態為0,代表檢查成功
exit 0
else
# 退出狀態為1,代表檢查不成功
exit 1
fi
EOF
$ chmod +x /etc/keepalived/chk_ingress.sh
```
**keepalived的docker-compose**
```shell
$ cat <<-EOF | sudo tee /etc/keepalived/docker-compose.yaml > /dev/null
version: "3"
services:
keepalived:
container_name: keepalived
image: jiaxzeng/keepalived:2.2.7-alpine3.12
volumes:
- "/usr/share/zoneinfo/Asia/Shanghai:/etc/localtime"
- ".:/etc/keepalived"
cap_add:
- NET_ADMIN
network_mode: "host"
restart: always
EOF
```
**啟動keepalived**
```shell
docker-compose -f /etc/keepalived/docker-compose.yaml up -d
```
## 修改ingress-nginx
```shell
# 在 deploy 添加或修改replicas
replicas: 2
# 在 deploy.spec.template.spec 下面添加affinity
affinity:
podAntiAffinity:
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 100
podAffinityTerm:
labelSelector:
matchLabels:
app.kubernetes.io/name: ingress-nginx
topologyKey: kubernetes.io/hostname
```
> 需要重啟ingress-nginx-controller容器
## 附加iptables
```shell
iptables -I INPUT -p tcp -m multiport --dports 80,443,8443 -m comment --comment "nginx ingress controller external ports" -j ACCEPT
iptables -I INPUT -p tcp --dport 10086 -m comment --comment "haproxy stats ports" -j ACCEPT
```
> `80、443、8443` 是由 `ingress-nginx-controller` 暴露的端口
- 前言
- 架構
- 部署
- kubeadm部署
- kubeadm擴容節點
- 二進制安裝基礎組件
- 添加master節點
- 添加工作節點
- 選裝插件安裝
- Kubernetes使用
- k8s與dockerfile啟動參數
- hostPort與hostNetwork異同
- 應用上下線最佳實踐
- 進入容器命名空間
- 主機與pod之間拷貝
- events排序問題
- k8s會話保持
- 容器root特權
- CNI插件
- calico
- calicoctl安裝
- calico網絡通信
- calico更改pod地址范圍
- 新增節點網卡名不一致
- 修改calico模式
- calico數據存儲遷移
- 啟用 kubectl 來管理 Calico
- calico卸載
- cilium
- cilium架構
- cilium/hubble安裝
- cilium網絡路由
- IP地址管理(IPAM)
- Cilium替換KubeProxy
- NodePort運行DSR模式
- IP地址偽裝
- ingress使用
- nginx-ingress
- ingress安裝
- ingress高可用
- helm方式安裝
- 基本使用
- Rewrite配置
- tls安全路由
- ingress發布管理
- 代理k8s集群外的web應用
- ingress自定義日志
- ingress記錄真實IP地址
- 自定義參數
- traefik-ingress
- traefik名詞概念
- traefik安裝
- traefik初次使用
- traefik路由(IngressRoute)
- traefik中間件(middlewares)
- traefik記錄真實IP地址
- cert-manager
- 安裝教程
- 頒布者CA
- 創建證書
- 外部存儲
- 對接NFS
- 對接ceph-rbd
- 對接cephfs
- 監控平臺
- Prometheus
- Prometheus安裝
- grafana安裝
- Prometheus配置文件
- node_exporter安裝
- kube-state-metrics安裝
- Prometheus黑盒監控
- Prometheus告警
- grafana儀表盤設置
- 常用監控配置文件
- thanos
- Prometheus
- Sidecar組件
- Store Gateway組件
- Querier組件
- Compactor組件
- Prometheus監控項
- grafana
- Querier對接grafana
- alertmanager
- Prometheus對接alertmanager
- 日志中心
- filebeat安裝
- kafka安裝
- logstash安裝
- elasticsearch安裝
- elasticsearch索引生命周期管理
- kibana安裝
- event事件收集
- 資源預留
- 節點資源預留
- imagefs與nodefs驗證
- 資源預留 vs 驅逐 vs OOM
- scheduler調度原理
- Helm
- Helm安裝
- Helm基本使用
- 安全
- apiserver審計日志
- RBAC鑒權
- namespace資源限制
- 加密Secret數據
- 服務網格
- 備份恢復
- Velero安裝
- 備份與恢復
- 常用維護操作
- container runtime
- 拉取私有倉庫鏡像配置
- 拉取公網鏡像加速配置
- runtime網絡代理
- overlay2目錄占用過大
- 更改Docker的數據目錄
- Harbor
- 重置Harbor密碼
- 問題處理
- 關閉或開啟Harbor的認證
- 固定harbor的IP地址范圍
- ETCD
- ETCD擴縮容
- ETCD常用命令
- ETCD數據空間壓縮清理
- ingress
- ingress-nginx header配置
- kubernetes
- 驗證yaml合法性
- 切換KubeProxy模式
- 容器解析域名
- 刪除節點
- 修改鏡像倉庫
- 修改node名稱
- 升級k8s集群
- 切換容器運行時
- apiserver接口
- 其他
- 升級內核
- k8s組件性能分析
- ETCD
- calico
- calico健康檢查失敗
- Harbor
- harbor同步失敗
- Kubernetes
- 資源Terminating狀態
- 啟動容器報錯