使用Ceph做持久化存儲 · kubernetes完整攻略

# 使用Ceph做持久化存儲創建MySQL集群本文中用到的 yaml 文件可以在 [../manifests/mariadb-cluster](https://github.com/rootsongjc/kubernetes-handbook/blob/master/manifests/mariadb-cluster) 目錄下找到。下面我們以部署一個高可用的 MySQL 集群為例，講解如何使用 Ceph 做數據持久化，其中使用 StorageClass 動態創建 PV，Ceph 集群我們使用 kubernetes 集群外部的已有的集群，我們沒有必要重新部署了。在 1.4 以后，kubernetes 提供了一種更加方便的動態創建 PV 的方式；也就是說使用 StoragaClass 時無需預先創建固定大小的 PV，等待使用者創建 PVC 來使用；而是直接創建 PVC 即可分配使用。 ## 使用 kubernetes 集群外部的 Ceph 存儲在部署 kubernetes 之前我們就已經有了 Ceph 集群，因此我們可以直接拿來用。但是 kubernetes 的所有節點（尤其是 master 節點）上依然需要安裝 ceph 客戶端。 ```bash yum install -y ceph-common ``` 還需要將 ceph 的配置文件 `ceph.conf` 放在所有節點的 `/etc/ceph` 目錄下。 Kubernetes 使用 ceph 存儲需要用到如下配置： - Monitors: Ceph montors 列表 - Path：作為掛載的根路徑，默認是 / - User：RADOS用戶名，默認是 admin - secretFile：keyring 文件路徑，默認是 /etc/ceph/user.secret，我們 Ceph 集群提供的文件是 `ceph.client.admin.keyring`，將在下面用到 - secretRef：Ceph 認證 secret 的引用，如果配置了將會覆蓋 secretFile。 - readOnly：該文件系統是否只讀。 ## Galera Cluster介紹 Galera是一個MySQL(也支持MariaDB，Percona)的同步多主集群軟件。從用戶視角看，一組Galera集群可以看作一個具有多入口的MySQL庫，用戶可以同時從多個IP讀寫這個庫。目前Galera已經得到廣泛應用，例如Openstack中，在集群規模不大的情況下，穩定性已經得到了實踐考驗。真正的multi-master，即所有節點可以同時讀寫數據庫。 ## 詳細步驟以下步驟包括創建 Ceph 的配置和 MySQL 的配置兩部分。 ### 配置 Ceph 關于 Ceph 的 yaml 文件可以在 [../manifest/mariadb-cluster](https://github.com/rootsongjc/kubernetes-handbook/tree/master/manifests/mariadb-cluster) 目錄下找到。 #### 1. 生成 Ceph secret 使用 Ceph 管理員提供給你的 `ceph.client.admin.keyring` 文件，我們將它放在了 `/etc/ceph` 目錄下，用來生成 secret。 ```bash grep key /etc/ceph/ceph.client.admin.keyring |awk '{printf "%s", $NF}'|base64 ``` 將獲得加密后的 key：`QVFDWDA2aFo5TG5TQnhBQVl1b0lUL2V3YlRSaEtwVEhPWkxvUlE9PQ==`，我們將在后面用到。 #### 2. 創建租戶namespace 創建 `galera-namespace.yaml` 文件內容為： ```yaml apiVersion: v1 kind: Namespace metadata: name: galera ``` #### 3. 創建 Ceph secret 創建 `ceph-secret.yaml` 文件內容為： ```yaml apiVersion: v1 kind: Secret metadata: name: ceph-secret namespace: galera type: "kubernetes.io/rbd" data: key: QVFDWDA2aFo5TG5TQnhBQVl1b0lUL2V3YlRSaEtwVEhPWkxvUlE9PQ== ``` #### 4. 創建 StorageClass 創建 `ceph-class.yaml` 文件內容為： ```yaml apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: ceph-web provisioner: kubernetes.io/rbd parameters: monitors: 172.28.7.98,172.28.7.99,172.28.7.100 adminId: admin adminSecretName: ceph-secret adminSecretNamespace: galera pool: rbd #此處默認是rbd池，生產上建議自己創建存儲池隔離 userId: admin userSecretName: ceph-secret ``` 此配置請參考 kubernetes 官方文檔：https://kubernetes.io/docs/concepts/storage/persistent-volumes/#ceph-rbd ### 配置 MySQL #### 1. 創建 MySQL 配置文件創建 `mysql-config.yaml` 文件內容為： ```yaml apiVersion: v1 kind: ConfigMap metadata: name: mysql-config-vol namespace: galera labels: app: mysql data: mariadb.cnf: | [client] default-character-set = utf8 [mysqld] character-set-server = utf8 collation-server = utf8_general_ci # InnoDB optimizations innodb_log_file_size = 64M galera.cnf: | [galera] user = mysql bind-address = 0.0.0.0 # Optimizations innodb_flush_log_at_trx_commit = 0 sync_binlog = 0 expire_logs_days = 7 # Required settings default_storage_engine = InnoDB binlog_format = ROW innodb_autoinc_lock_mode = 2 query_cache_size = 0 query_cache_type = 0 # MariaDB Galera settings #wsrep_debug=ON wsrep_on=ON wsrep_provider=/usr/lib/galera/libgalera_smm.so wsrep_sst_method=rsync # Cluster settings (automatically updated) wsrep_cluster_address=gcomm:// wsrep_cluster_name=galera wsrep_node_address=127.0.0.1 ``` #### 2. 創建 MySQL root 用戶和密碼 **創建加密密碼** ```bash $ echo -n jimmysong|base64 amltbXlzb25n ``` 注意：一定要用-n 去掉換行符，不然會報錯。 **創建 root 用戶** ```bash $ echo -n root |base64 cm9vdA== ``` **創建 MySQL secret** 創建 `mysql-secret.yaml` 文件內容為： ```yaml apiVersion: v1 kind: Secret metadata: name: mysql-secrets namespace: galera labels: app: mysql data: # Root password: changeit run echo -n jimmysong|base64 root-password: amltbXlzb25n # Root user: root root-user: cm9vdA== ``` #### 3. 創建 yaml 配置文件創建 MySQL 的 yaml 文件 `galera-mariadb.yaml` 內容為： ```yaml apiVersion: v1 kind: Service metadata: annotations: service.alpha.kubernetes.io/tolerate-unready-endpoints: "true" name: mysql namespace: galera labels: app: mysql tier: data spec: ports: - port: 3306 name: mysql clusterIP: None selector: app: mysql --- apiVersion: apps/v1beta1 kind: StatefulSet metadata: name: mysql namespace: galera spec: serviceName: "mysql" replicas: 3 template: metadata: labels: app: mysql tier: data annotations: pod.beta.kubernetes.io/init-containers: '[ { "name": "galera-init", "image": "harbor-001.jimmysong.io/library/k8s-galera-init:latest", "args": ["-service=mysql"], "env": [ { "name": "POD_NAMESPACE", "valueFrom": { "fieldRef": { "apiVersion": "v1", "fieldPath": "metadata.namespace" } } }, { "name": "SAFE_TO_BOOTSTRAP", "value": "1" }, { "name": "DEBUG", "value": "1" } ], "volumeMounts": [ { "name": "config", "mountPath": "/etc/mysql/conf.d" }, { "name": "data", "mountPath": "/var/lib/mysql" } ] } ]' spec: terminationGracePeriodSeconds: 10 containers: - name: mysql image: harbor-001.jimmysong.io/library/mariadb:10.1 imagePullPolicy: IfNotPresent ports: - containerPort: 3306 name: mysql - containerPort: 4444 name: sst - containerPort: 4567 name: replication - containerPort: 4568 name: ist env: - name: MYSQL_ROOT_PASSWORD valueFrom: secretKeyRef: name: mysql-secrets key: root-password - name: MYSQL_ROOT_USER valueFrom: secretKeyRef: name: mysql-secrets key: root-user - name: MYSQL_INITDB_SKIP_TZINFO value: "yes" livenessProbe: exec: command: ["sh", "-c", "mysql -u\"${MYSQL_ROOT_USER:-root}\" -p\"${MYSQL_ROOT_PASSWORD}\" -e 'show databases;'"] initialDelaySeconds: 60 timeoutSeconds: 5 readinessProbe: exec: command: ["sh", "-c", "mysql -u\"${MYSQL_ROOT_USER:-root}\" -p\"${MYSQL_ROOT_PASSWORD}\" -e 'show databases;'"] initialDelaySeconds: 20 timeoutSeconds: 5 volumeMounts: - name: config mountPath: /etc/mysql/conf.d - name: data mountPath: /var/lib/mysql volumes: - name: config configMap: name: mysql-config-vol imagePullSecrets: - name: "registrykey" volumeClaimTemplates: - metadata: name: data annotations: volume.beta.kubernetes.io/storage-class: "ceph-web" #引用ceph class 的類 spec: accessModes: [ "ReadWriteOnce" ] resources: requests: storage: 3Gi ``` ## 部署 MySQL 集群在 `/etc/mariadb-cluster` 目錄下執行： ```bash kubectl create -f . ``` ## 驗證存在 issue，參考 [Error creating rbd image: executable file not found in $PATH#38923](https://github.com/kubernetes/kubernetes/issues/38923) ## 問題記錄如果沒有安裝 `ceph-common` 的話，kubernetes 在創建 PVC 的時候會有如下報錯信息： ```bash Events: FirstSeen LastSeen Count From SubObjectPath Type Reason Message --------- -------- ----- ---- ------------- -------- ------ ------- 1h 12s 441 {persistentvolume-controller } Warning ProvisioningFailed Failed to provision volume with StorageClass "ceph-web": failed to create rbd image: executable file not found in $PATH, command output: ``` 檢查 `kube-controller-manager` 的日志將看到如下錯誤信息： ```bash journalctl -xe -u kube-controller-manager ... rbd_util.go:364] failed to create rbd image, output ... rbd.go:317] rbd: create volume failed, err: failed to create rbd image: executable file not found in $PATH, command output: ``` 這是因為 `kube-controller-manager` 主機上沒有安裝 `ceph-common` 的緣故。但是安裝了 `ceph-common` 之后依然有問題： ```bash Sep 4 15:25:36 bj-xg-oam-kubernetes-001 kube-controller-manager: W0904 15:25:36.032128 13211 rbd_util.go:364] failed to create rbd image, output Sep 4 15:25:36 bj-xg-oam-kubernetes-001 kube-controller-manager: W0904 15:25:36.032201 13211 rbd_util.go:364] failed to create rbd image, output Sep 4 15:25:36 bj-xg-oam-kubernetes-001 kube-controller-manager: W0904 15:25:36.032252 13211 rbd_util.go:364] failed to create rbd image, output Sep 4 15:25:36 bj-xg-oam-kubernetes-001 kube-controller-manager: E0904 15:25:36.032276 13211 rbd.go:317] rbd: create volume failed, err: failed to create rbd image: fork/exec /usr/bin/rbd: invalid argument, command output: ``` 該問題尚未解決，參考 [Error creating rbd image: executable file not found in $PATH#38923](https://github.com/kubernetes/kubernetes/issues/38923) 從日志記錄來看追查到 `pkg/volume/rbd/rbd.go` 的 `func (r *rbdVolumeProvisioner) Provision() (*v1.PersistentVolume, error) {` 方法對 `ceph-class.yaml` 中的參數進行了驗證和處理后調用了 `pkg/volume/rbd/rdb_utils.go` 文件第 344 行 `CreateImage` 方法（kubernetes v1.6.1版本）： ```go func (util *RBDUtil) CreateImage(p *rbdVolumeProvisioner) (r *v1.RBDVolumeSource, size int, err error) { var output []byte capacity := p.options.PVC.Spec.Resources.Requests[v1.ResourceName(v1.ResourceStorage)] volSizeBytes := capacity.Value() // convert to MB that rbd defaults on sz := int(volume.RoundUpSize(volSizeBytes, 1024*1024)) volSz := fmt.Sprintf("%d", sz) // rbd create l := len(p.rbdMounter.Mon) // pick a mon randomly start := rand.Int() % l // iterate all monitors until create succeeds. for i := start; i < start+l; i++ { mon := p.Mon[i%l] glog.V(4).Infof("rbd: create %s size %s using mon %s, pool %s id %s key %s", p.rbdMounter.Image, volSz, mon, p.rbdMounter.Pool, p.rbdMounter.adminId, p.rbdMounter.adminSecret) output, err = p.rbdMounter.plugin.execCommand("rbd", []string{"create", p.rbdMounter.Image, "--size", volSz, "--pool", p.rbdMounter.Pool, "--id", p.rbdMounter.adminId, "-m", mon, "--key=" + p.rbdMounter.adminSecret, "--image-format", "1"}) if err == nil { break } else { glog.Warningf("failed to create rbd image, output %v", string(output)) } } if err != nil { return nil, 0, fmt.Errorf("failed to create rbd image: %v, command output: %s", err, string(output)) } return &v1.RBDVolumeSource{ CephMonitors: p.rbdMounter.Mon, RBDImage: p.rbdMounter.Image, RBDPool: p.rbdMounter.Pool, }, sz, nil } ``` 該方法調用失敗。 ## 參考 - https://github.com/kubernetes/examples/blob/master/staging/volumes/cephfs/README.md - [k8s-ceph-statefulsets-storageclass-nfs 動態卷有狀態應用實踐](http://blog.csdn.net/idea77/article/details/72842723) - https://kubernetes.io/docs/concepts/storage/persistent-volumes/#ceph-rbd - [Error creating rbd image: executable file not found in $PATH#38923](https://github.com/kubernetes/kubernetes/issues/38923)