[TOC] # 封裝 當未提供配置時，Cilium 會自動在此模式下運行，因為它是對底層網絡基礎設施要求最低的模式。 在此模式下，所有集群節點使用基于 UDP 的封裝協議 VXLAN 或 Geneve 形成隧道網格。 Cilium 節點之間的所有流量都被封裝。 ## 對網絡的要求 - 封裝依賴于正常的節點到節點連接。 這意味著如果 Cilium 節點已經可以相互到達，則所有路由要求都已滿足。 - 底層網絡和防火墻必須允許封裝數據包： | 封裝方式 | 端口范圍/協議 | | :-: | :-: | | VXLAN (Default) | 8472/UDP | | Geneve | 6081/UDP | ## 該模型的優點 - 簡單 連接集群節點的網絡不需要了解 PodCIDR。 集群節點可以產生多個路由或鏈路層域。 只要集群節點可以使用 IP/UDP 相互訪問，底層網絡的拓撲結構就無關緊要。 - 尋址空間 由于不依賴于任何底層網絡限制，可用的尋址空間可能會更大，并且如果相應配置了 PodCIDR 大小，則允許每個節點運行任意數量的 pod。 - 自動配置 當與 Kubernetes 等編排系統一起運行時，集群中所有節點的列表（包括其關聯的分配前綴節點）將自動可供每個代理使用。 加入集群的新節點將自動合并到網格中。 - 身份上下文 封裝協議允許隨網絡數據包一起攜帶元數據。 Cilium 利用此功能來傳輸元數據，例如源安全身份。 身份傳輸是一種優化，旨在避免在遠程節點上進行一次身份查找。 ## 該模型的缺點 - MTU 開銷 由于添加了封裝標頭，有效負載可用的有效 MTU 低于本機路由（VXLAN 每個網絡數據包 50 字節）。 這會導致特定網絡連接的最大吞吐量降低。 通過啟用巨型幀（每 1500 字節 50 字節的開銷 vs 每 9000 字節 50 字節的開銷）可以在很大程度上緩解這一問題。 # 主機路由 本地路由數據路徑使用 `tunnel: disabled` 啟用并啟用本機數據包轉發模式。本地數據包轉發模式利用 Cilium 運行的網絡的路由功能，而不是執行封裝。網絡性能基本與主機相差不遠。  在本機路由模式下，Cilium 會將所有未發送至另一個本地端點的數據包委托給 Linux 內核的路由子系統。 這意味著數據包將被路由，就像本地進程發出數據包一樣。 因此，連接集群節點的網絡必須能夠路由 PodCIDR。 配置本機路由時，Cilium 會自動在 Linux 內核中啟用 IP 轉發。 ## 對網絡的要求 - 為了運行本機路由模式，連接運行 Cilium 的主機的網絡必須能夠使用為 Pod 或其他工作負載提供的地址轉發 IP 流量。 - 節點上的 Linux 內核必須知道如何轉發運行 Cilium 的所有節點的 pod 數據包或其他工作負載。 這可以通過兩種方式實現： 1. 節點本身不知道如何路由所有 pod IP，但網絡上存在一個知道如何到達所有其他 pod 的路由器。在這種情況下，Linux 節點配置為包含指向此類路由器的默認路由。該模型用于云提供商網絡集成。 2. 每個單獨的節點都知道所有其他節點的所有 Pod IP，并且路由被插入到 Linux 內核路由表中來表示這一點。如果所有節點共享一個 L2 網絡，則可以通過啟用 `auto-direct-node-routes: true` 選項來解決此問題。否則，必須運行額外的系統組件（例如 BGP 守護程序）來分發路由。請參閱 使用 kube-router 運行 BGP 指南，了解如何使用 kube-router 項目實現此目的。 >[info] 測試主機是否為二層網絡可達： > 1. 當在執行ping主機時，兩臺主機是否都有學習到對方mac地址 `arp -a` > 2. 使用 `arping` 命令探測 ## 配置 必須設置以下配置選項以在本地路由模式下運行數據路徑： - tunnel: disabled：啟用本機路由模式。 - ipv4-native-routing-cidr: x.x.x.x/y：設置可以執行本機路由的 CIDR。 # 確認當前模式 ```shell # 查看網絡route模式 crictl logs `crictl ps --name cilium-agent -q` 2>&1 | egrep "native-routing|tunnel|auto-direct" ``` # 修改路由模式 從封裝改成主機路由模式 ```shell # 獲取當前版本號 cilium_version=$(helm -n kube-system ls | awk '/cilium/ {print $NF}') echo $cilium_version # 備份上一次安裝的參數 helm -n kube-system get values cilium > cilium_custom.yaml sed -i '1d' cilium_custom.yaml # 添加參數 cat <<EOF | tee -a cilium_custom.yaml >> /dev/null # 禁止設置隧道 tunnel: disabled # 設置可執行本地路由的CIDR ipv4NativeRoutingCIDR: 10.0.0.0/16 # 所有k8s節點在二層網絡，則使用該參數。 autoDirectNodeRoutes: true EOF # 修改參數 helm -n kube-system upgrade cilium cilium/cilium --version $cilium_version -f cilium_custom.yaml # 重啟cilium kubectl -n kube-system rollout restart daemonset cilium kubectl -n kube-system rollout status daemonset cilium # 驗證 crictl logs `crictl ps --name cilium-agent -q` 2>&1 | egrep "native-routing|tunnel|auto-direct" ```