第三章創建TLS證書和秘鑰 · kubernetes 從入門到實踐

# 創建TLS證書和秘鑰 ## 前言 ### 執行下列步驟前建議你先閱讀以下內容： - [管理集群中的TLS](https://rootsongjc.gitbooks.io/kubernetes-handbook/content/guide/managing-tls-in-a-cluster.html)：教您如何創建TLS證書 - [kubelet的認證授權](https://rootsongjc.gitbooks.io/kubernetes-handbook/content/guide/kubelet-authentication-authorization.html)：向您描述如何通過認證授權來訪問 kubelet 的 HTTPS 端點 - TLS [bootstrap](https://rootsongjc.gitbooks.io/kubernetes-handbook/content/guide/tls-bootstrapping.html)：介紹如何為 kubelet 設置 TLS 客戶端證書引導（bootstrap）。 > 注意：這一步是在安裝配置kubernetes的所有步驟中最容易出錯也最難于排查問題的一步，而這卻剛好是第一步，萬事開頭難，不要因為這點困難就望而卻步。 ### kubernetes 系統的各組件需要使用 TLS 證書對通信進行加密，本文檔使用 CloudFlare 的 PKI 工具集 cfssl 來生成 Certificate Authority (CA) 和其它證書； ### 生成的 CA 證書和秘鑰文件如下： - ca-key.pem - ca.pem - kubernetes-key.pem - kubernetes.pem - kube-proxy.pem - kube-proxy-key.pem - admin.pem - admin-key.pem ### 使用證書的組件如下： - etcd：使用 ca.pem、kubernetes-key.pem、kubernetes.pem； - kube-apiserver：使用 ca.pem、kubernetes-key.pem、kubernetes.pem； - kubelet：使用 ca.pem； - kube-proxy：使用 ca.pem、kube-proxy-key.pem、kube-proxy.pem； - kubectl：使用 ca.pem、admin-key.pem、admin.pem； > kube-controller、kube-scheduler 當前需要和 kube-apiserver 部署在同一臺機器上且使用非安全端口通信，故不需要證書。 #### 注意：以下操作都在 master 節點即 172.20.200.100 這臺主機上執行，證書只需要創建一次即可，以后在向集群中添加新節點時只要將 /etc/kubernetes/ 目錄下的證書拷貝到新節點上即可。 # 安裝 CFSSL ### 直接使用二進制源碼包安裝 wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 chmod +x cfssl_linux-amd64 mv cfssl_linux-amd64 /root/local/bin/cfssl wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 chmod +x cfssljson_linux-amd64 mv cfssljson_linux-amd64 /root/local/bin/cfssljson wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 chmod +x cfssl-certinfo_linux-amd64 mv cfssl-certinfo_linux-amd64 /root/local/bin/cfssl-certinfo export PATH=/root/local/bin:$PATH 在$GOPATH/bin目錄下得到以cfssl開頭的幾個命令。 > 注意：以下文章中出現的cat的文件名如果不存在需要手工創建。 ### 創建 CA (Certificate Authority) #### 創建 CA 配置文件 mkdir /root/ssl cd /root/ssl cfssl print-defaults config > config.json cfssl print-defaults csr > csr.json # 根據config.json文件的格式創建如下的ca-config.json文件 # 過期時間設置成了 87600h cat > ca-config.json <<EOF { "signing": { "default": { "expiry": "87600h" }, "profiles": { "kubernetes": { "usages": [ "signing", "key encipherment", "server auth", "client auth" ], "expiry": "87600h" } } } } EOF 字段說明 - ca-config.json：可以定義多個 profiles，分別指定不同的過期時間、使用場景等參數；后續在簽名證書時使用某個 profile； - signing：表示該證書可用于簽名其它證書；生成的 ca.pem 證書中 CA=TRUE； - server auth：表示client可以用該 CA 對server提供的證書進行驗證； - client auth：表示server可以用該CA對client提供的證書進行驗證； ### 創建 CA 證書簽名請求 #### 創建 ca-csr.json 文件，內容如下： cat > ca-csr.json <<EOF { "CN": "kubernetes", "key": { "algo": "rsa", "size": 2048 }, "names": [ { "C": "CN", "ST": "BeiJing", "L": "BeiJing", "O": "k8s", "OU": "System" } ] } EOF - "CN"：Common Name，kube-apiserver 從證書中提取該字段作為請求的用戶名 (User Name)；瀏覽器使用該字段驗證網站是否合法； - "O"：Organization，kube-apiserver 從證書中提取該字段作為請求用戶所屬的組 (Group)； #### 生成 CA 證書和私鑰 $ cfssl gencert -initca ca-csr.json | cfssljson -bare ca $ ls ca* ca-config.json ca.csr ca-csr.json ca-key.pem ca.pem #### 創建 kubernetes 證書創建 kubernetes 證書簽名請求文件 kubernetes-csr.json: cat > kubernetes-csr.json << EOF { "CN": "kubernetes", "hosts": [ "127.0.0.1", "172.16.200.100", "172.16.200.101", "172.16.200.102", "10.254.0.1", "kubernetes", "kubernetes.default", "kubernetes.default.svc", "kubernetes.default.svc.cluster", "kubernetes.default.svc.cluster.local" ], "key": { "algo": "rsa", "size": 2048 }, "names": [ { "C": "CN", "ST": "BeiJing", "L": "BeiJing", "O": "k8s", "OU": "System" } ] } EOF - 如果 hosts 字段不為空則需要指定授權使用該證書的 IP 或域名列表，由于該證書后續被 etcd 集群和 kubernetes master 集群使用，所以上面分別指定了 etcd 集群、kubernetes master 集群的主機 IP 和 kubernetes 服務的服務 IP（一般是 kube-apiserver 指定的 service-cluster-ip-range 網段的第一個IP，如 10.254.0.1。 #### 生成 kubernetes 證書和私鑰 $ cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kubernetes-csr.json | cfssljson -bare kubernetes $ ls kubernetes* kubernetes.csr kubernetes-csr.json kubernetes-key.pem kubernetes.pem ### 創建 admin 證書創建 admin 證書簽名請求文件 admin-csr.json： cat > admin-csr.json << EOF { "CN": "admin", "hosts": [], "key": { "algo": "rsa", "size": 2048 }, "names": [ { "C": "CN", "ST": "BeiJing", "L": "BeiJing", "O": "system:masters", "OU": "System" } ] } EOF - 后續 kube-apiserver 使用 RBAC 對客戶端(如 kubelet、kube-proxy、Pod)請求進行授權； - kube-apiserver 預定義了一些 RBAC 使用的 RoleBindings，如 cluster-admin 將 Group system:masters 與 Role cluster-admin 綁定，該 Role 授予了調用kube-apiserver 的所有 API的權限； - OU 指定該證書的 Group 為 system:masters，kubelet 使用該證書訪問 kube-apiserver 時，由于證書被 CA 簽名，所以認證通過，同時由于證書用戶組為經過預授權的 system:masters，所以被授予訪問所有 API 的權限 ### 生成 admin 證書和私鑰 $ cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes admin-csr.json | cfssljson -bare admin $ ls admin* admin.csr admin-csr.json admin-key.pem admin.pem ### 創建 kube-proxy 證書創建 kube-proxy 證書簽名請求文件 kube-proxy-csr.json cat > kube-proxy-csr.json << EOF { "CN": "system:kube-proxy", "hosts": [], "key": { "algo": "rsa", "size": 2048 }, "names": [ { "C": "CN", "ST": "BeiJing", "L": "BeiJing", "O": "k8s", "OU": "System" } ] } EOF - CN 指定該證書的 User 為 system:kube-proxy； - kube-apiserver 預定義的 RoleBinding cluster-admin 將User system:kube-proxy 與 Role system:node-proxier 綁定，該 Role 授予了調用 kube-apiserver Proxy 相關 API 的權限；生成 kube-proxy 客戶端證書和私鑰 $ cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy $ ls kube-proxy* kube-proxy.csr kube-proxy-csr.json kube-proxy-key.pem kube-proxy.pem ### 校驗證書以 kubernetes 證書為例 - 使用 opsnssl 命令 $ openssl x509 -noout -text -in kubernetes.pem ... Signature Algorithm: sha256WithRSAEncryption Issuer: C=CN, ST=BeiJing, L=BeiJing, O=k8s, OU=System, CN=Kubernetes Validity Not Before: Apr 5 05:36:00 2017 GMT Not After : Apr 5 05:36:00 2018 GMT Subject: C=CN, ST=BeiJing, L=BeiJing, O=k8s, OU=System, CN=kubernetes ... X509v3 extensions: X509v3 Key Usage: critical Digital Signature, Key Encipherment X509v3 Extended Key Usage: TLS Web Server Authentication, TLS Web Client Authentication X509v3 Basic Constraints: critical CA:FALSE X509v3 Subject Key Identifier: DD:52:04:43:10:13:A9:29:24:17:3A:0E:D7:14:DB:36:F8:6C:E0:E0 X509v3 Authority Key Identifier: keyid:44:04:3B:60:BD:69:78:14:68:AF:A0:41:13:F6:17:07:13:63:58:CD X509v3 Subject Alternative Name: DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster, DNS:kubernetes.default.svc.cluster.local, IP Address:127.0.0.1, IP Address:172.20.0.112, IP Address:172.20.0.113, IP Address:172.20.0.114, IP Address:172.20.0.115, IP Address:10.254.0.1 ... - 使用 cfssl-certinfo 命令 ~~~ $ cfssl-certinfo -cert kubernetes.pem { "subject": { "common_name": "kubernetes", "country": "CN", "organization": "k8s", "organizational_unit": "System", "locality": "BeiJing", "province": "BeiJing", "names": [ "CN", "BeiJing", "BeiJing", "k8s", "System", "kubernetes" ] }, "issuer": { "common_name": "Kubernetes", "country": "CN", "organization": "k8s", "organizational_unit": "System", "locality": "BeiJing", "province": "BeiJing", "names": [ "CN", "BeiJing", "BeiJing", "k8s", "System", "Kubernetes" ] }, "serial_number": "174360492872423263473151971632292895707129022309", "sans": [ "kubernetes", "kubernetes.default", "kubernetes.default.svc", "kubernetes.default.svc.cluster", "kubernetes.default.svc.cluster.local", "127.0.0.1", "10.64.3.7", "10.254.0.1" ], "not_before": "2017-04-05T05:36:00Z", "not_after": "2018-04-05T05:36:00Z", "sigalg": "SHA256WithRSA", ~~~ ### 分發證書將生成的證書和秘鑰文件（后綴名為.pem）拷貝到所有機器的 /etc/kubernetes/ssl 目錄下備用； mkdir -p /etc/kubernetes/ssl cp *.pem /etc/kubernetes/ssl