4-數據的持久化和共享互連 · linux運維

[TOC] ## 一容器數據持久化和共享方案 ### A.為什么要使用docker數據持久化正常情況下，刪除容器，容器中所有的文件也會被刪除。所以需要能持久化容器中數據的方法,也就是數據卷 **數據卷(Data Volume)的作用：** 1. 持久化容器運行過程中產生的數據文件 2. 實現多個容器間的文件共享。 3. 實現多個主機間有狀態容器的遷移 ### B.docker數據卷的分類在集群環境下,數據卷分為: 1. 單機內容器間的數據持久化和共享 * 數據卷[Data Volume] * 綁定掛載[bind mount] * 容器管理卷[docker managed volume] * 容器卷[volume container] 2. 跨主機容器間的數據持久化和共享 * 使用分布式文件系統(如NFS) * 使用volume driver實現跨主機存儲 * Rex-Ray插件 * [更多官方插件](https://docs.docker.com/engine/extend/legacy_plugins/#volume-plugins) ### C.容器間互連的方式容器互聯大體有以下三種方式： * 基于volume的互聯 * 基于link的互聯 * 基于網絡的互聯 > 其中基于網絡的互連會在網絡部分單獨寫,基于volume的互連和基于link的互連會在本節詳細說明 ## 二數據卷的使用詳情數據卷[Data Volume]就是將宿主機中的一個文件或目錄掛載到容器中,供容器使用,分為綁定卷[bind mount]和容器管理卷[docker managed volume],區別是 | 區別點? | bind mount | docker managed volume | | --- | --- | --- | | volume 位置 | 可任意指定 | /var/lib/docker/volumes/... | | 對已有mount point 影響 | 隱藏并替換為 volume | 原有數據復制到 volume | | 是否支持單個文件 | 支持 | 不支持，只能是目錄 | | 權限控制 | 可設置為只讀，默認為讀寫權限 | 無控制，均為讀寫權限 | | 移植性 | 移植性弱，與 host path 綁定 | 移植性強，無需指定 host 目錄 | ### A.常見的docker數據卷命令 * 創建一個數據卷 `docker volume create xxx` * 查看數據卷列表 `docker volume ls ` * 刪除一個數據卷 `docker volume rm ` * 查看一個數據卷的屬性 `docker volume inspect ` ### B.`-v`參數掛載數據卷的語法 1. 掛載數據卷語法 ` -v 掛載源:掛載目的[:其他選項] ` * 使用舉例: ` docker run -d -p 80:80 -v /data/test/:/usr/share/nginx/html nginx` >其他選項一般只有一個`ro`只讀選項常用,不舉例了 2. -v參數用法詳解 | `-v`參數所跟選項 | 舉例 | 導致的結果 | | --- | --- | --- | | A:不跟任何選項 | -v | 根據創建鏡像的dockerfiled的配置進行掛載 | | B:只寫一個目錄 | -v /data | 表示只有掛載目的,會自動創建掛載源 | | C:源目都有[四種] | -v xxx:/test | 又如下分四種情況 | | C1:源目都是目錄 | -v /data/:/test | 將主機的data目錄掛載到容器的test目錄 | | C2:源目都是文件 | -v ~/f.txt:/test/b.txt | 用主機文件f.txt文件替代容器b.txt文件 | | C3:源是容器管理卷[已建] | -v noah:/test | 掛載容器管理卷noah為容器目錄/test | | C4:源是容器管理卷[未建] | -v noah:/test | 創建并掛載容器管理卷,并用容器目錄中的數據初始化容器管理卷 | ### C.綁定掛載[bind mount]的使用先創建好一個目錄和里面的測試文件,然后創建實例的時候,直接加參數掛載到相應的目錄即可 1. **準備數據** ```sh mkdir -p /data/test/ echo 'this is test ----------> bind mount' >/data/test/index.html ``` 2. **創建`bind mount`的容器** ```sh docker run -d -p 80:80 -v /data/test/:/usr/share/nginx/html nginx ``` 3. **驗證結果** ```sh [root@docker01 ~]# curl 127.0.0.1 this is test ----------> bind mount [root@docker01 ~]# echo 'this is new change pag' >/data/test/index.html [root@docker01 ~]# curl 127.0.0.1 this is new change pag #可見已經將目錄成功掛載到容器中,并且可以實時更新 ``` 4. **用`inspect `查看鏡像信息** ```sh [root@docker01 ~]# docker container inspect 9c5e35343873|grep -A 4 Mounts "Mounts": [ { "Type": "bind", "Source": "/data/test", "Destination": "/usr/share/nginx/html", ``` ### D.容器管理卷[docker managed volume]的使用 1. 手動創建卷"noah-v1"并寫入文件 ``` docker volume create noah-v1 echo 'this is noah-v1 vol' >/var/lib/docker/volumes/noah-v1/_data/index.html ``` 2. 分別用三種方式創建含容器管理卷的容器 ```sh docker run -d -p 180:80 -v /usr/share/nginx/html nginx docker run -d -p 280:80 -v noah:/usr/share/nginx/html nginx docker run -d -p 380:80 -v noah-v1:/usr/share/nginx/html nginx [root@docker01 ~]# curl 127.0.0.1:380 this is noah-v1 vol [root@docker01 ~]# docker volume ls DRIVER VOLUME NAME local 95b29d4a729017510df9fdc1753ebeb117a7464c24af9657913130c7e6ef2f01 local noah local noah-v1 ``` >針對第一條命令,未指定掛載源時,自動創建一個卷 >針對第二條命令,指定的掛載源不存在時,自動創建卷并命名 >針對第三條命令,指定的掛載源存在時,直接掛載該卷 3. 分別curl三個端口看結果 ``` [root@docker01 ~]# curl 127.0.0.1:180 ...... [root@docker01 ~]# curl 127.0.0.1:280 ...... [root@docker01 ~]# curl 127.0.0.1:380 this is noah-v1 vol ``` ## 四容器卷[volume container]的使用詳情 volume container 是專門為其他容器提供 volume 的容器。它提供的卷可以是 bind mount，也可以是 docker managed volume。 ### A.volume container 的特點： 1. **實現了容器與 host 的解耦** 與 bind mount 相比，不必為每一個容器指定 host path，所有 path 都在 volume container 中定義好了，容器只需與 volume container 關聯。 2. 有利于配置的規范和標準化使用 volume container 的容器其 mount point 是一致的，有利于配置的規范和標準化，但也帶來一定的局限，使用時需要綜合考慮。 ### B. 容器卷實操演示創建一個名為`vc_data`的容器, mount 了1個`docker managed volume`,其他容器可以通過`--volumes-from`使用`vc_data`這個 volume container： >注意這里執行的是`docker create`命令，這是因為 volume container 的作用只是提供數據，它本身不需要處于運行狀態。 1. 創建容器卷容器 ```sh docker volume create noah-v2 echo 'this is noah-v2 vol' >/var/lib/docker/volumes/noah-v2/_data/index.html docker create --name vc_data -v noah-v2:/usr/share/nginx/html busybox ``` 2. 通過`docker inspect`可以查看到信息 ```sh [root@docker01 ~]# docker inspect vc_data |grep -A 4 Mounts "Mounts": [ { "Type": "volume", "Name": "noah-v2", "Source": "/var/lib/docker/volumes/noah-v2/_data", ``` 3. 其他容器掛載`vc_data` ```sh docker run -d -p 801:80 --volumes-from vc_data nginx docker run -d -p 802:80 --volumes-from vc_data nginx ``` 4. 查看結果驗證 ```sh [root@docker01 ~]# curl 127.0.0.1:801 this is noah-v2 vol [root@docker01 ~]# curl 127.0.0.1:802 this is noah-v2 vol ``` 5. 修改數據驗證共享 ```sh echo 'change data info is now' >/var/lib/docker/volumes/noah-v2/_data/index.html [root@docker01 ~]# curl 127.0.0.1:801 change data info is now [root@docker01 ~]# curl 127.0.0.1:802 change data info is now ``` 可見，兩個容器已經成功共享了 volume container 中的 volume。 ## 五 volume的備份和恢復 ### A. 備份和恢復 volume 實際上是 host 文件系統中的目錄和文件，而我們所有的本地鏡像都存在 host 指定目錄的 1. 無私有registry時,在`/var/lib/docker/volumes/`目錄 2. 有私有registry時,在registry創建時指定的目錄我們要做的就是定期備份這個目錄,如果數據損壞了，直接用之前備份的數據拷貝到對應目錄就可以了。 ### B. 倉庫遷移如果我們想使用更新版本的 Registry，這就涉及到數據遷移，步驟是： 1. docker stop 停止當前 Registry 容器。 2. 啟動新版本容器并 mount 原有 volume。 `docker run -d -p 5000:5000 -v /myregistry:/var/lib/registry registry:latest ` 當然，在啟用新容器前要確保新版本的默認數據路徑是否發生變化。 ### C. 銷毀 docker 不會銷毀 bind mount，刪除數據的工作只能由 host 負責。對于 docker managed volume，在刪除容器時可以帶上 -v 參數，會將容器使用到的 volume 一并刪除(前提是沒有其他容器 mount 該 volume) 如果刪除容器時沒有帶 -v ,就會產生孤兒 volume，對于孤兒volume: 1. 用 `docker managed volume` 進行維護。 2. 刪除孤兒volume `docker volume rm` . 3. 批量刪除孤兒 volume，`docker volume rm $(docker volume ls -q)` ## 六 link連接容器進行互連 ### A. link基本功能演示 `--link`參數格式為`--link name:alias`,其中name是要鏈接的容器名稱，alias是這個連接的別名。 Docker通過**環境變量**和**更新/etc/hosts文件**兩種方式為容器公開連接信息 1. 用link方式創建容器 ```sh docker run -d --name web01 -e DBNAME=demo nginx:latest docker run -it --link web01:test01 centos:6.9 ``` 2. 在test01容器中驗證 ```sh [root@142f76fd54d1 /]# curl -sL -w "%{http_code}\n" web01 -o /dev/null 200 ``` 3. 查看hosts文件和env環境變量 ```sh [root@142f76fd54d1 /]# tail -2 /etc/hosts 172.17.0.2 test01 a641de6f2ea3 web01 172.17.0.3 142f76fd54d1 [root@142f76fd54d1 /]# env|grep DBNAME TEST01_ENV_DBNAME=demo ``` ### B. link方式快速部署zabbix 通過用容器方式快速部署zabbix的案例,來說明link在實際使用中的應用 ```sh docker run --name mysql-server -t \ -e MYSQL_DATABASE="zabbix" \ -e MYSQL_USER="zabbix" \ -e MYSQL_PASSWORD="zabbix_pwd" \ -e MYSQL_ROOT_PASSWORD="root_pwd" \ -d mysql:5.7 \ --character-set-server=utf8 --collation-server=utf8_bin docker run --name zabbix-java-gateway -t \ -d zabbix/zabbix-java-gateway:latest docker run --name zabbix-server-mysql -t \ -e DB_SERVER_HOST="mysql-server" \ -e MYSQL_DATABASE="zabbix" \ -e MYSQL_USER="zabbix" \ -e MYSQL_PASSWORD="zabbix_pwd" \ -e MYSQL_ROOT_PASSWORD="root_pwd" \ -e ZBX_JAVAGATEWAY="zabbix-java-gateway" \ --link mysql-server:mysql \ --link zabbix-java-gateway:zabbix-java-gateway \ -p 10051:10051 \ -d zabbix/zabbix-server-mysql:latest docker run --name zabbix-web-nginx-mysql -t \ -e DB_SERVER_HOST="mysql-server" \ -e MYSQL_DATABASE="zabbix" \ -e MYSQL_USER="zabbix" \ -e MYSQL_PASSWORD="zabbix_pwd" \ -e MYSQL_ROOT_PASSWORD="root_pwd" \ --link mysql-server:mysql \ --link zabbix-server-mysql:zabbix-server \ -p 80:80 \ -d zabbix/zabbix-web-nginx-mysql:latest ```