利用NFS動態提供Kubernetes后端存儲卷 · kubernetes完整攻略

# 利用NFS動態提供Kubernetes后端存儲卷本文翻譯自nfs-client-provisioner的[說明文檔](https://github.com/kubernetes-incubator/external-storage/tree/master/nfs-client)，本文將介紹使用nfs-client-provisioner這個應用，利用NFS Server給Kubernetes作為持久存儲的后端，并且動態提供PV。前提條件是有已經安裝好的NFS服務器，并且NFS服務器與Kubernetes的Slave節點都能網絡連通。所有下文用到的文件來自于`git clone https://github.com/kubernetes-incubator/external-storage.git`的nfs-client目錄。 ## nfs-client-provisioner nfs-client-provisioner 是一個Kubernetes的簡易NFS的外部provisioner，本身不提供NFS，需要現有的NFS服務器提供存儲 - PV以 `${namespace}-${pvcName}-${pvName}`的命名格式提供（在NFS服務器上） - PV回收的時候以 `archieved-${namespace}-${pvcName}-${pvName}` 的命名格式（在NFS服務器上） ## 安裝部署 - 修改deployment文件并部署 `deploy/deployment.yaml` 需要修改的地方只有NFS服務器所在的IP地址（10.10.10.60），以及NFS服務器共享的路徑（`/ifs/kubernetes`），兩處都需要修改為你實際的NFS服務器和共享目錄 ```yaml kind: Deployment apiVersion: extensions/v1beta1 metadata: name: nfs-client-provisioner spec: replicas: 1 strategy: type: Recreate template: metadata: labels: app: nfs-client-provisioner spec: serviceAccountName: nfs-client-provisioner containers: - name: nfs-client-provisioner image: quay.io/external_storage/nfs-client-provisioner:latest volumeMounts: - name: nfs-client-root mountPath: /persistentvolumes env: - name: PROVISIONER_NAME value: fuseim.pri/ifs - name: NFS_SERVER value: 10.10.10.60 - name: NFS_PATH value: /ifs/kubernetes volumes: - name: nfs-client-root nfs: server: 10.10.10.60 path: /ifs/kubernetes ``` - 修改StorageClass文件并部署 `deploy/class.yaml` 此處可以不修改，或者修改provisioner的名字，需要與上面的deployment的PROVISIONER_NAME名字一致。 ```yaml apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: managed-nfs-storage provisioner: fuseim.pri/ifs ``` ## 授權如果您的集群啟用了RBAC，或者您正在運行OpenShift，則必須授權provisioner。如果你在非默認的“default”名稱空間/項目之外部署，可以編輯`deploy/auth/clusterrolebinding.yaml`或編輯`oadm policy“指令。 ### 如果啟用了RBAC 需要執行如下的命令來授權。 ```bash $ kubectl create -f deploy/auth/serviceaccount.yaml serviceaccount "nfs-client-provisioner" created $ kubectl create -f deploy/auth/clusterrole.yaml clusterrole "nfs-client-provisioner-runner" created $ kubectl create -f deploy/auth/clusterrolebinding.yaml clusterrolebinding "run-nfs-client-provisioner" created $ kubectl patch deployment nfs-client-provisioner -p '{"spec":{"template":{"spec":{"serviceAccount":"nfs-client-provisioner"}}}}' ``` ## 測試測試創建PVC - `kubectl create -f deploy/test-claim.yaml` 測試創建POD - `kubectl create -f deploy/test-pod.yaml` 在NFS服務器上的共享目錄下的卷子目錄中檢查創建的NFS PV卷下是否有"SUCCESS" 文件。刪除測試POD - `kubectl delete -f deploy/test-pod.yaml` 刪除測試PVC - `kubectl delete -f deploy/test-claim.yaml` 在NFS服務器上的共享目錄下查看NFS的PV卷回收以后是否名字以archived開頭。 ## 我的示例 * NFS服務器配置 ```bash # cat /etc/exports ``` ```ini /media/docker *(no_root_squash,rw,sync,no_subtree_check) ``` * nfs-deployment.yaml示例 NFS服務器的地址是ubuntu-master,共享出來的路徑是/media/docker，其他不需要修改。 ```bash # cat nfs-deployment.yaml ``` ```yaml kind: Deployment apiVersion: extensions/v1beta1 metadata: name: nfs-client-provisioner spec: replicas: 1 strategy: type: Recreate template: metadata: labels: app: nfs-client-provisioner spec: serviceAccountName: nfs-client-provisioner containers: - name: nfs-client-provisioner image: quay.io/external_storage/nfs-client-provisioner:latest volumeMounts: - name: nfs-client-root mountPath: /persistentvolumes env: - name: PROVISIONER_NAME value: fuseim.pri/ifs - name: NFS_SERVER value: ubuntu-master - name: NFS_PATH value: /media/docker volumes: - name: nfs-client-root nfs: server: ubuntu-master path: /media/docker ``` * StorageClass示例可以修改Class的名字，我的改成了default。 ```bash # cat class.yaml ``` ```yaml apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: default provisioner: fuseim.pri/ifs ``` * 查看StorageClass ```bash # kubectl get sc NAME PROVISIONER AGE default fuseim.pri/ifs 2d ``` * 設置這個default名字的SC為Kubernetes的默認存儲后端 ```bash # kubectl patch storageclass default -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}' storageclass.storage.k8s.io "default" patched # kubectl get sc NAME PROVISIONER AGE default (default) fuseim.pri/ifs 2d ``` * 測試創建PVC 查看pvc文件 ```bash # cat test-claim.yaml ``` ```yaml kind: PersistentVolumeClaim apiVersion: v1 metadata: name: test-claim spec: accessModes: - ReadWriteMany resources: requests: storage: 1Mi ``` 創建PVC ```bash # kubectl apply -f test-claim.yaml persistentvolumeclaim "test-claim" created root@Ubuntu-master:~/kubernetes/nfs# kubectl get pvc|grep test test-claim Bound pvc-fe3cb938-3f15-11e8-b61d-08002795cb26 1Mi RWX default 10s # kubectl get pv|grep test pvc-fe3cb938-3f15-11e8-b61d-08002795cb26 1Mi RWX Delete Bound default/test-claim default 58s ``` * 啟動測試POD POD文件如下，作用就是在test-claim的PV里touch一個SUCCESS文件。 ```bash # cat test-pod.yaml ``` ```yaml kind: Pod apiVersion: v1 metadata: name: test-pod spec: containers: - name: test-pod image: gcr.io/google_containers/busybox:1.24 command: - "/bin/sh" args: - "-c" - "touch /mnt/SUCCESS && exit 0 || exit 1" volumeMounts: - name: nfs-pvc mountPath: "/mnt" restartPolicy: "Never" volumes: - name: nfs-pvc persistentVolumeClaim: claimName: test-claim ``` 啟動POD，一會兒POD就是completed狀態，說明執行完畢。 ```bash # kubectl apply -f test-pod.yaml pod "test-pod" created kubectl get pod|grep test test-pod 0/1 Completed 0 40s ``` 我們去NFS共享目錄查看有沒有SUCCESS文件。 ```bash # cd default-test-claim-pvc-fe3cb938-3f15-11e8-b61d-08002795cb26 # ls SUCCESS ``` 說明部署正常，并且可以動態分配NFS的共享卷。