[TOC]
# 記錄真實IP地址
有時候我們需要在容器中獲取客戶端真實的IP等信息,而經過NginxIngressController轉發后,這些信息不一定拿得到,所以我們需要對NginxIngressController進行配置。
```shell
$ kubectl -n ingress-nginx edit configmap ingress-nginx-controller
# 在 data 字段添加下面三行
data:
# 源地址附加到 X-Forwarded-For 標頭,而不是替換它
compute-full-forwarded-for: "true"
# 設置用于標識客戶端的原始 IP 地址的標頭字段。 默認值:X-Forwarded-For
forwarded-for-header: X-Forwarded-For
# 當期望將 X-Forwarded-* 的標頭信息傳遞給后端服務時,需要設置為true
use-forwarded-headers: "true"
# 重啟 ingress-nginx-controller 容器
$ kubectl -n ingress-nginx delete pod -l app.kubernetes.io/component=controller
pod "ingress-nginx-controller-6c979c5b47-hrb4k" deleted
```
> 請注意:如果在 `ingress-nginx-controller` 高可用上的負載均衡器沒有傳遞 `X-Forwarded-For` 的話,同樣是獲取不到真實IP地址的。
如果 `ingress-nginx-controller` 是高可用的話,那么會出現多個節點有pod,必定是有一個負載均衡器。那么就獲取不到真實IP地址,使用 `nginx` 做七層代理的話,需要在 `location` 加上以下幾行參數
```shell
map $http_x_forwarded_for $full_x_forwarded_for {
default "$http_x_forwarded_for, $realip_remote_addr";
'' "$realip_remote_addr";
}
# Allow websocket connections
proxy_set_header Upgrade $http_upgrade;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $full_x_forwarded_for;
# Pass the original X-Forwarded-For
proxy_set_header X-Original-Forwarded-For $http_x_forwarded_for;
```
完整的nginx示例:

下面的日志是通過 `ingress` 設置的域名訪問,客戶端收集的日志
```shell
20.0.135.128 - - [24/Sep/2021:07:04:29 +0000] "GET /test/demo/ HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36" "192.168.31.1, 192.168.31.103"
```
> 該行的第一個段是指 `上一級的訪問IP地址` 。最后一段是指 `真實客戶端IP地址, 反向代理的后端IP地址`。
# 優化參數
```shell
$ kubectl -n ingress-nginx edit cm ingress-nginx-controller
# 在 data 字段添加下面內容
data:
# 客戶端請求頭部的緩沖區大小,這個可以根據你的系統分頁大小來設置,一般一個請求頭的大小不會超過 1k,不過由于一般系統分頁都要大于1k,所以這里設置為分頁大小。分頁大小可以用命令getconf PAGESIZE取得。
client-header-buffer-size: 4k
# 設置保持活動的客戶端連接在服務器端保持打開狀態的時間
keep-alive: "60"
# 設置可以通過一個保持活動連接提供的最大請求數。
# nginx 與 client 保持的一個長連接能處理的請求數量,默認 100,高并發場景建議調高。
# 參考: https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/configmap/#keep-alive-requests
keep-alive-requests: "10000"
# 設置每個工作進程可以打開的最大并發連接數
# 參考: https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/configmap/#max-worker-connections
max-worker-connections: "65535"
# 設置每個工作進程可以打開的最大文件數
max-worker-open-files: "65535"
# nginx 與 upstream 保持長連接的最大空閑連接數 (不是最大連接數),默認 32,在高并發下場景下調大,避免頻繁建聯導致 TIME_WAIT 飆升。
# 參考: https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/configmap/#upstream-keepalive-connections
upstream-keepalive-connections: "10000"
# 設置可以通過一個 keepalive 連接服務的最大請求數。 發出最大請求數后,連接關閉。
upstream-keepalive-requests: "100"
# 設置超時,在此期間,與 upstream servers 的空閑保持連接將保持打開狀態。
upstream-keepalive-timeout: "60"
# 重啟 ingress-nginx-controller 容器
$ kubectl -n ingress-nginx delete pod -l app.kubernetes.io/component=controller
pod "ingress-nginx-controller-6c979c5b47-csmcj" deleted
```
# 內核調優
```shell
# 臨時臨時
kubectl patch deployment -n ingress-nginx nginx-ingress-controller \
--patch="$(curl https://raw.githubusercontent.com/kubernetes/ingress-nginx/main/docs/examples/customization/sysctl/patch.json)"
# 永久生效
# 在 ingress-nginx-controller 容器的 deploy.spec.template.spec 添加 initContainers
initContainers:
- name: sysctl
image: alpine:3.13
securityContext:
privileged: true
command:
- sh
- -c
- |
sysctl -w net.core.somaxconn=32768
sysctl -w net.ipv4.ip_local_port_range='32768 65535'
sysctl -w net.ipv4.tcp_tw_reuse=1
```
**變化:**
- 積壓隊列設置net.core.somaxconn從128到32768
- 臨時端口設置net.ipv4.ip_local_port_range從32768 60999到32768 65535(符合端口規劃)
- 開啟 `TIME_WAIT` 重用,即允許將 `TIME_WAIT` 連接重新用于新的 TCP 連接
- 前言
- 架構
- 部署
- kubeadm部署
- kubeadm擴容節點
- 二進制安裝基礎組件
- 添加master節點
- 添加工作節點
- 選裝插件安裝
- Kubernetes使用
- k8s與dockerfile啟動參數
- hostPort與hostNetwork異同
- 應用上下線最佳實踐
- 進入容器命名空間
- 主機與pod之間拷貝
- events排序問題
- k8s會話保持
- 容器root特權
- CNI插件
- calico
- calicoctl安裝
- calico網絡通信
- calico更改pod地址范圍
- 新增節點網卡名不一致
- 修改calico模式
- calico數據存儲遷移
- 啟用 kubectl 來管理 Calico
- calico卸載
- cilium
- cilium架構
- cilium/hubble安裝
- cilium網絡路由
- IP地址管理(IPAM)
- Cilium替換KubeProxy
- NodePort運行DSR模式
- IP地址偽裝
- ingress使用
- nginx-ingress
- ingress安裝
- ingress高可用
- helm方式安裝
- 基本使用
- Rewrite配置
- tls安全路由
- ingress發布管理
- 代理k8s集群外的web應用
- ingress自定義日志
- ingress記錄真實IP地址
- 自定義參數
- traefik-ingress
- traefik名詞概念
- traefik安裝
- traefik初次使用
- traefik路由(IngressRoute)
- traefik中間件(middlewares)
- traefik記錄真實IP地址
- cert-manager
- 安裝教程
- 頒布者CA
- 創建證書
- 外部存儲
- 對接NFS
- 對接ceph-rbd
- 對接cephfs
- 監控平臺
- Prometheus
- Prometheus安裝
- grafana安裝
- Prometheus配置文件
- node_exporter安裝
- kube-state-metrics安裝
- Prometheus黑盒監控
- Prometheus告警
- grafana儀表盤設置
- 常用監控配置文件
- thanos
- Prometheus
- Sidecar組件
- Store Gateway組件
- Querier組件
- Compactor組件
- Prometheus監控項
- grafana
- Querier對接grafana
- alertmanager
- Prometheus對接alertmanager
- 日志中心
- filebeat安裝
- kafka安裝
- logstash安裝
- elasticsearch安裝
- elasticsearch索引生命周期管理
- kibana安裝
- event事件收集
- 資源預留
- 節點資源預留
- imagefs與nodefs驗證
- 資源預留 vs 驅逐 vs OOM
- scheduler調度原理
- Helm
- Helm安裝
- Helm基本使用
- 安全
- apiserver審計日志
- RBAC鑒權
- namespace資源限制
- 加密Secret數據
- 服務網格
- 備份恢復
- Velero安裝
- 備份與恢復
- 常用維護操作
- container runtime
- 拉取私有倉庫鏡像配置
- 拉取公網鏡像加速配置
- runtime網絡代理
- overlay2目錄占用過大
- 更改Docker的數據目錄
- Harbor
- 重置Harbor密碼
- 問題處理
- 關閉或開啟Harbor的認證
- 固定harbor的IP地址范圍
- ETCD
- ETCD擴縮容
- ETCD常用命令
- ETCD數據空間壓縮清理
- ingress
- ingress-nginx header配置
- kubernetes
- 驗證yaml合法性
- 切換KubeProxy模式
- 容器解析域名
- 刪除節點
- 修改鏡像倉庫
- 修改node名稱
- 升級k8s集群
- 切換容器運行時
- apiserver接口
- 其他
- 升級內核
- k8s組件性能分析
- ETCD
- calico
- calico健康檢查失敗
- Harbor
- harbor同步失敗
- Kubernetes
- 資源Terminating狀態
- 啟動容器報錯