05部署master集群 · 義為科技

## 部署Master節點 kubernetes master節點包含的組件有： * kube-apiserver * kube-scheduler * kube-controller-manager 目前這3個組件需要部署到同一臺機器上：（后面再部署高可用的master） - `kube-scheduler`、`kube-controller-manager` 和 `kube-apiserver` 三者的功能緊密相關； - 同時只能有一個 `kube-scheduler`、`kube-controller-manager` 進程處于工作狀態，如果運行多個，則需要通過選舉產生一個 leader； #### 環境變量 ```shell $ export NODE_IP=192.168.10.68 # 當前部署的master 機器ip $ source /usr/k8s/bin/env.sh ``` **下載v1.8.2版本的二進制文件** ```shell $ wget https://dl.k8s.io/v1.8.2/kubernetes-server-linux-amd64.tar.gz $ tar -xzvf kubernetes-server-linux-amd64.tar.gz ``` 將二進制文件拷貝到 `/usr/k8s/bin ` 目錄 ```shell $ sudo cp -r server/bin/{kube-apiserver,kube-controller-manager,kube-scheduler} /usr/k8s/bin/ ``` #### 創建kubernetes證書創建kubernetes證書簽名請求： ```shell $ cat > kubernetes-csr.json <<EOF { "CN": "kubernetes", "hosts": [ "127.0.0.1", "${NODE_IP}", "${MASTER_URL}", "${CLUSTER_KUBERNETES_SVC_IP}", "kubernetes", "kubernetes.default", "kubernetes.default.svc", "kubernetes.default.svc.cluster", "kubernetes.default.svc.cluster.local" ], "key": { "algo": "rsa", "size": 2048 }, "names": [ { "C": "CN", "ST": "BeiJing", "L": "BeiJing", "O": "k8s", "OU": "System" } ] } EOF ``` * 如果 hosts 字段不為空則需要指定授權使用該證書的 IP 或域名列表，所以上面分別指定了當前部署的 master 節點主機 IP 以及apiserver 負載的內部域名 * 還需要添加 kube-apiserver 注冊的名為 kubernetes 的服務 IP (Service Cluster IP)，一般是 kube-apiserver --service-cluster-ip-range 選項值指定的網段的第一個IP，如 “10.254.0.1” 生成kubernetes證書和私鑰： ```shell $ cfssl gencert -ca=/etc/kubernetes/ssl/ca.pem \ -ca-key=/etc/kubernetes/ssl/ca-key.pem \ -config=/etc/kubernetes/ssl/ca-config.json \ -profile=kubernetes kubernetes-csr.json | cfssljson -bare kubernetes $ ls kubernetes* kubernetes.csr kubernetes-csr.json kubernetes-key.pem kubernetes.pem $ sudo mkdir -p /etc/kubernetes/ssl/ $ sudo mv kubernetes*.pem /etc/kubernetes/ssl/ ``` ### 01配置和啟動kube-apiserver #### 創建kube-apiserver使用的客戶端token文件 kubelet 首次啟動時向kube-apiserver 發送TLS Bootstrapping 請求，kube-apiserver 驗證請求中的token 是否與它配置的token.csv 一致，如果一致則自動為kubelet 生成證書和密鑰。 ```shell # 導入的 environment.sh 文件定義了 BOOTSTRAP_TOKEN 變量 $ cat > token.csv <<EOF ${BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"system:kubelet-bootstrap" EOF $ sudo mv token.csv /etc/kubernetes/ ``` #### 創建kube-apiserver的systemd unit文件 ```shell cat > kube-apiserver.service <<EOF [Unit] Description=Kubernetes API Server Documentation=https://github.com/GoogleCloudPlatform/kubernetes After=network.target [Service] ExecStart=/usr/k8s/bin/kube-apiserver \\ --admission-control=NamespaceLifecycle,LimitRanger,ServiceAccount,DefaultStorageClass,ResourceQuota \\ --advertise-address=${NODE_IP} \\ --bind-address=0.0.0.0 \\ --insecure-bind-address=${NODE_IP} \\ --authorization-mode=Node,RBAC \\ --runtime-config=rbac.authorization.k8s.io/v1alpha1 \\ --kubelet-https=true \\ --experimental-bootstrap-token-auth \\ --token-auth-file=/etc/kubernetes/token.csv \\ --service-cluster-ip-range=${SERVICE_CIDR} \\ --service-node-port-range=${NODE_PORT_RANGE} \\ --tls-cert-file=/etc/kubernetes/ssl/kubernetes.pem \\ --tls-private-key-file=/etc/kubernetes/ssl/kubernetes-key.pem \\ --client-ca-file=/etc/kubernetes/ssl/ca.pem \\ --service-account-key-file=/etc/kubernetes/ssl/ca-key.pem \\ --etcd-cafile=/etc/kubernetes/ssl/ca.pem \\ --etcd-certfile=/etc/kubernetes/ssl/kubernetes.pem \\ --etcd-keyfile=/etc/kubernetes/ssl/kubernetes-key.pem \\ --etcd-servers=${ETCD_ENDPOINTS} \\ --enable-swagger-ui=true \\ --allow-privileged=true \\ --apiserver-count=2 \\ --audit-log-maxage=30 \\ --audit-log-maxbackup=3 \\ --audit-log-maxsize=100 \\ --audit-log-path=/var/lib/audit.log \\ --event-ttl=1h \\ --logtostderr=true \\ --v=6 Restart=on-failure RestartSec=5 Type=notify LimitNOFILE=65536 [Install] WantedBy=multi-user.target EOF ``` * kube-apiserver 1.6 版本開始使用 etcd v3 API 和存儲格式 * --authorization-mode=RBAC 指定在安全端口使用RBAC 授權模式，拒絕未通過授權的請求 * kube-scheduler、kube-controller-manager 一般和 kube-apiserver 部署在同一臺機器上，它們使用非安全端口和 kube-apiserver通信 * kubelet、kube-proxy、kubectl 部署在其它 Node 節點上，如果通過安全端口訪問 kube-apiserver，則必須先通過 TLS 證書認證，再通過 RBAC 授權 * kube-proxy、kubectl 通過使用證書里指定相關的 User、Group 來達到通過 RBAC 授權的目的 * 如果使用了 kubelet TLS Boostrap 機制，則不能再指定 --kubelet-certificate-authority、--kubelet-client-certificate 和 --kubelet-client-key 選項，否則后續 kube-apiserver 校驗 kubelet 證書時出現 ”x509: certificate signed by unknown authority“ 錯誤 * --admission-control 值必須包含 ServiceAccount，否則部署集群插件時會失敗 * --bind-address 不能為 127.0.0.1 * --service-cluster-ip-range 指定 Service Cluster IP 地址段，該地址段不能路由可達 * --service-node-port-range=${NODE_PORT_RANGE} 指定 NodePort 的端口范圍 * 缺省情況下 kubernetes 對象保存在etcd/registry 路徑下，可以通過 --etcd-prefix 參數進行調整 * kube-apiserver 1.8版本后需要在--authorization-mode參數中添加Node，即：--authorization-mode=Node,RBAC，否則Node 節點無法注冊 * 注意要開啟審查日志功能，指定--audit-log-path參數是不夠的，這只是指定了日志的路徑，還需要指定一個審查日志策略文件：--audit-policy-file，我們也可以使用日志收集工具收集相關的日志進行分析。 **kube-node-68的kube-aipserver文件如下** ```shell [Unit] Description=Kubernetes API Server Documentation=https://github.com/GoogleCloudPlatform/kubernetes After=network.target [Service] ExecStart=/usr/k8s/bin/kube-apiserver \ --admission-control=NamespaceLifecycle,LimitRanger,ServiceAccount,DefaultStorageClass,ResourceQuota \ --advertise-address=192.168.10.68 \ --bind-address=0.0.0.0 \ --insecure-bind-address=192.168.10.68 \ --authorization-mode=Node,RBAC \ --runtime-config=rbac.authorization.k8s.io/v1alpha1 \ --kubelet-https=true \ --experimental-bootstrap-token-auth \ --token-auth-file=/etc/kubernetes/token.csv \ --service-cluster-ip-range=10.254.0.0/16 \ --service-node-port-range=30000-32766 \ --tls-cert-file=/etc/kubernetes/ssl/kubernetes.pem \ --tls-private-key-file=/etc/kubernetes/ssl/kubernetes-key.pem \ --client-ca-file=/etc/kubernetes/ssl/ca.pem \ --service-account-key-file=/etc/kubernetes/ssl/ca-key.pem \ --etcd-cafile=/etc/kubernetes/ssl/ca.pem \ --etcd-certfile=/etc/kubernetes/ssl/kubernetes.pem \ --etcd-keyfile=/etc/kubernetes/ssl/kubernetes-key.pem \ --etcd-servers=https://192.168.10.65:2379,https://192.168.10.64:2379,https://192.168.10.63:2379 \ --enable-swagger-ui=true \ --allow-privileged=true \ --apiserver-count=2 \ --audit-log-maxage=30 \ --audit-log-maxbackup=3 \ --audit-log-maxsize=100 \ --audit-log-path=/var/lib/audit.log \ --event-ttl=1h \ --logtostderr=true \ --v=6 Restart=on-failure RestartSec=5 Type=notify LimitNOFILE=65536 [Install] WantedBy=multi-user.target ``` #### 啟動kube-apiserver ```shell $ sudo cp kube-apiserver.service /etc/systemd/system/ $ sudo systemctl daemon-reload $ sudo systemctl enable kube-apiserver $ sudo systemctl start kube-apiserver $ sudo systemctl status kube-apiserver ``` ### 02配置和啟動kube-controller-manager #### 創建kube-controller-manager的systemd unit文件 ```shell $ cat > kube-controller-manager.service <<EOF [Unit] Description=Kubernetes Controller Manager Documentation=https://github.com/GoogleCloudPlatform/kubernetes [Service] ExecStart=/usr/k8s/bin/kube-controller-manager \\ --address=127.0.0.1 \\ --master=http://${MASTER_URL}:8080 \\ --allocate-node-cidrs=true \\ --service-cluster-ip-range=${SERVICE_CIDR} \\ --cluster-cidr=${CLUSTER_CIDR} \\ --cluster-name=kubernetes \\ --cluster-signing-cert-file=/etc/kubernetes/ssl/ca.pem \\ --cluster-signing-key-file=/etc/kubernetes/ssl/ca-key.pem \\ --service-account-private-key-file=/etc/kubernetes/ssl/ca-key.pem \\ --root-ca-file=/etc/kubernetes/ssl/ca.pem \\ --leader-elect=true \\ --v=2 Restart=on-failure RestartSec=5 [Install] WantedBy=multi-user.target EOF ``` * --address 值必須為 127.0.0.1，因為當前 kube-apiserver 期望 scheduler 和 controller-manager 在同一臺機器 * --master=http://${MASTER_URL}:8080：使用http(非安全端口)與 kube-apiserver 通信，需要下面的haproxy安裝成功后才能去掉8080端口。 * --cluster-cidr 指定 Cluster 中 Pod 的 CIDR 范圍，該網段在各 Node 間必須路由可達(flanneld保證) * --service-cluster-ip-range 參數指定 Cluster 中 Service 的CIDR范圍，該網絡在各 Node 間必須路由不可達，必須和 kube-apiserver 中的參數一致 * --cluster-signing-* 指定的證書和私鑰文件用來簽名為 TLS BootStrap 創建的證書和私鑰 * --root-ca-file 用來對 kube-apiserver 證書進行校驗，指定該參數后，才會在Pod 容器的 ServiceAccount 中放置該 CA 證書文件 * --leader-elect=true 部署多臺機器組成的 master 集群時選舉產生一處于工作狀態的 kube-controller-manager 進程 **kube-node-68的kube-controller-manager.service文件** ```shell [Unit] Description=Kubernetes Controller Manager Documentation=https://github.com/GoogleCloudPlatform/kubernetes [Service] ExecStart=/usr/k8s/bin/kube-controller-manager \ --address=127.0.0.1 \ --master=http://kube-node-68:8080 \ --allocate-node-cidrs=true \ --service-cluster-ip-range=10.254.0.0/16 \ --cluster-cidr=172.30.0.0/16 \ --cluster-name=kubernetes \ --cluster-signing-cert-file=/etc/kubernetes/ssl/ca.pem \ --cluster-signing-key-file=/etc/kubernetes/ssl/ca-key.pem \ --service-account-private-key-file=/etc/kubernetes/ssl/ca-key.pem \ --root-ca-file=/etc/kubernetes/ssl/ca.pem \ --leader-elect=true \ --v=2 Restart=on-failure RestartSec=5 [Install] WantedBy=multi-user.target ``` #### 啟動kube-controller-manager ```shell $ sudo cp kube-controller-manager.service /etc/systemd/system/ $ sudo systemctl daemon-reload $ sudo systemctl enable kube-controller-manager $ sudo systemctl start kube-controller-manager $ sudo systemctl status kube-controller-manager ``` ### 03配置和啟動kube-scheduler #### 創建kube-scheduler的sysstemd unit文件 ```shell $ cat > kube-scheduler.service <<EOF [Unit] Description=Kubernetes Scheduler Documentation=https://github.com/GoogleCloudPlatform/kubernetes [Service] ExecStart=/usr/k8s/bin/kube-scheduler \\ --address=127.0.0.1 \\ --master=http://${MASTER_URL}:8080 \\ --leader-elect=true \\ --v=2 Restart=on-failure RestartSec=5 [Install] WantedBy=multi-user.target EOF ``` * --address 值必須為 127.0.0.1，因為當前 kube-apiserver 期望 scheduler 和 controller-manager 在同一臺機器 * --master=http://${MASTER_URL}:8080：使用http(非安全端口)與 kube-apiserver 通信，需要下面的haproxy啟動成功后才能去掉8080端口 * --leader-elect=true 部署多臺機器組成的 master 集群時選舉產生一處于工作狀態的 kube-controller-manager 進程 **kube-node-68的kube-scheduler.service文件如下** ```shell [Unit] Description=Kubernetes Scheduler Documentation=https://github.com/GoogleCloudPlatform/kubernetes [Service] ExecStart=/usr/k8s/bin/kube-scheduler \ --address=127.0.0.1 \ --master=http://192.168.10.68:8080 \ --leader-elect=true \ --v=2 Restart=on-failure RestartSec=5 [Install] WantedBy=multi-user.target ``` #### 啟動kube-scheduler ```shell $ sudo cp kube-scheduler.service /etc/systemd/system/ $ sudo systemctl daemon-reload $ sudo systemctl enable kube-scheduler $ sudo systemctl start kube-scheduler $ sudo systemctl status kube-scheduler ``` ### 04驗證master節點 ```shell $ kubectl get componentstatuses NAME STATUS MESSAGE ERROR controller-manager Healthy ok scheduler Healthy ok etcd-2 Healthy {"health": "true"} etcd-0 Healthy {"health": "true"} etcd-1 Healthy {"health": "true"} ```