# 快速部署一個云原生本地實驗環境 本文旨在幫助您快速部署一個云原生本地實驗環境，讓您可以基本不需要任何Kubernetes和云原生技術的基礎就可以對云原生環境一探究竟。 本文中使用[kubernetes-vagrant-centos-cluster](https://github.com/rootsongjc/kubernetes-vagrant-centos-cluster)在本地使用 Vagrant 啟動三個虛擬機部署分布式的Kubernetes集群。 如僅需要體驗云原生環境和測試服務功能，可以使用更加輕量級的[cloud-native-sandbox](https://github.com/rootsongjc/cloud-native-sandbox)，通過個人電腦的Docker部署單節點的Kubernetes、Istio等云原生環境。 ## 準備環境 需要準備以下軟件和環境： - 8G以上內存 - [Vagrant 2.0+](https://www.vagrantup.com/) - [VirtualBox 5.0 +](https://www.virtualbox.org/wiki/Downloads) - 提前下載kubernetes1.9.1以上版本的release壓縮包，[至百度網盤下載](https://pan.baidu.com/s/1zkg2xEAedvZHObmTHDFChg) - Mac/Linux，**不支持Windows** - 支持Kubernetes1.9以上版本（支持當前Kubernetes最新版本1.11.1） ## 集群 我們使用Vagrant和Virtualbox安裝包含3個節點的kubernetes集群，其中master節點同時作為node節點。 | IP | 主機名 | 組件 | | ------------ | ------ | ------------------------------------------------------------ | | 172.17.8.101 | node1 | kube-apiserver、kube-controller-manager、kube-scheduler、etcd、kubelet、docker、flannel、dashboard | | 172.17.8.102 | node2 | kubelet、docker、flannel、traefik | | 172.17.8.103 | node3 | kubelet、docker、flannel | **注意**：以上的IP、主機名和組件都是固定在這些節點的，即使銷毀后下次使用vagrant重建依然保持不變。 容器IP范圍：172.33.0.0/30 Kubernetes service IP范圍：10.254.0.0/16 ## 安裝的組件 安裝完成后的集群包含以下組件： - flannel（`host-gw`模式） - kubernetes dashboard - etcd（單節點） - kubectl - CoreDNS - kubernetes（版本根據下載的kubernetes安裝包而定） **可選插件** - Heapster + InfluxDB + Grafana - ElasticSearch + Fluentd + Kibana - Istio service mesh ## 使用說明 確保安裝好以上的準備環境后，執行下列命令啟動kubernetes集群： ```bash git clone https://github.com/rootsongjc/kubernetes-vagrant-centos-cluster.git cd kubernetes-vagrant-centos-cluster vagrant up ``` **注意**：克隆完Git倉庫后，需要提前下載kubernetes的壓縮包到`kubenetes-vagrant-centos-cluster`目錄下，包括如下兩個文件： - kubernetes-client-linux-amd64.tar.gz - kubernetes-server-linux-amd64.tar.gz 如果是首次部署，會自動下載`centos/7`的box，這需要花費一些時間，另外每個節點還需要下載安裝一系列軟件包，整個過程大概需要10幾分鐘。 如果您在運行`vagrant up`的過程中發現無法下載`centos/7`的box，可以手動下載后將其添加到vagrant中。 **手動添加centos/7 box** ```bash wget -c http://cloud.centos.org/centos/7/vagrant/x86_64/images/CentOS-7-x86_64-Vagrant-1801_02.VirtualBox.box vagrant box add CentOS-7-x86_64-Vagrant-1801_02.VirtualBox.box --name centos/7 ``` 這樣下次運行`vagrant up`的時候就會自動讀取本地的`centos/7` box而不會再到網上下載。 ### 訪問kubernetes集群 訪問Kubernetes集群的方式有三種： - 本地訪問 - 在VM內部訪問 - kubernetes dashboard **通過本地訪問** 可以直接在你自己的本地環境中操作該kubernetes集群，而無需登錄到虛擬機中，執行以下步驟： 將`conf/admin.kubeconfig`文件放到`~/.kube/config`目錄下即可在本地使用`kubectl`命令操作集群。 ```bash mkdir -p ~/.kube cp conf/admin.kubeconfig ~/.kube/config ``` 我們推薦您使用這種方式。 **在虛擬機內部訪問** 如果有任何問題可以登錄到虛擬機內部調試： ```bash vagrant ssh node1 sudo -i kubectl get nodes ``` **Kubernetes dashboard** 還可以直接通過dashboard UI來訪問：https://172.17.8.101:8443 可以在本地執行以下命令獲取token的值（需要提前安裝kubectl）： ```bash kubectl -n kube-system describe secret `kubectl -n kube-system get secret|grep admin-token|cut -d " " -f1`|grep "token:"|tr -s " "|cut -d " " -f2 ``` **注意**：token的值也可以在`vagrant up`的日志的最后看到。  **Heapster監控** 創建Heapster監控： ```bash kubectl apply -f addon/heapster/ ``` 訪問Grafana 使用Ingress方式暴露的服務，在本地`/etc/hosts`中增加一條配置： ```ini 172.17.8.102 grafana.jimmysong.io ``` 訪問Grafana：`http://grafana.jimmysong.io`  **Traefik** 部署Traefik ingress controller和增加ingress配置： ```bash kubectl apply -f addon/traefik-ingress ``` 在本地`/etc/hosts`中增加一條配置： ```ini 172.17.8.102 traefik.jimmysong.io ``` 訪問Traefik UI：<http://traefik.jimmysong.io>  **EFK** 使用EFK做日志收集。 ```bash kubectl apply -f addon/efk/ ``` **注意**：運行EFK的每個節點需要消耗很大的CPU和內存，請保證每臺虛擬機至少分配了4G內存。 **Helm** 用來部署helm。 ```bash hack/deploy-helm.sh ``` ### Service Mesh 我們使用 [istio](https://istio.io) 作為 service mesh。 **安裝** ```bash kubectl apply -f addon/istio/ ``` **運行示例** ```bash kubectl apply -n default -f <(istioctl kube-inject -f yaml/istio-bookinfo/bookinfo.yaml) istioctl create -f yaml/istio-bookinfo/bookinfo-gateway.yaml ``` 在您自己的本地主機的`/etc/hosts`文件中增加如下配置項。 ``` 172.17.8.102 grafana.istio.jimmysong.io 172.17.8.102 servicegraph.istio.jimmysong.io ``` 我們可以通過下面的URL地址訪問以上的服務。 | Service | URL | | ------------ | ------------------------------------------------------------ | | grafana | `http://grafana.istio.jimmysong.io` | | servicegraph | `http://servicegraph.istio.jimmysong.io/dotviz`, `http://servicegraph.istio.jimmysong.io/graph`, `http://servicegraph.istio.jimmysong.io/force/forcegraph.htm` | | tracing | `http://172.17.8.101:$JAEGER_PORT` | | productpage | `http://172.17.8.101:$GATEWAY_PORT/productpage` | **注意**：`JAEGER_PORT`可以通過`kubectl -n istio-system get svc tracing -o jsonpath='{.spec.ports[0].nodePort}'`獲取，`GATEWAY_PORT`可以通過`kubectl -n istio-system get svc istio-ingressgateway -o jsonpath='{.spec.ports[0].nodePort}'`獲取。 詳細信息請參閱 https://istio.io/zh/docs/examples/bookinfo/  ### Vistio [Vizceral](https://github.com/Netflix/vizceral)是Netflix發布的一個開源項目，用于近乎實時地監控應用程序和集群之間的網絡流量。Vistio是使用Vizceral對Istio和網格監控的改進。它利用Istio Mixer生成的指標，然后將其輸入Prometheus。Vistio查詢Prometheus并將數據存儲在本地以允許重播流量。 ```bash # Deploy vistio via kubectl kubectl apply -f addon/vistio/ # Expose vistio-api kubectl -n default port-forward $(kubectl -n default get pod -l app=vistio-api -o jsonpath='{.items[0].metadata.name}') 9091:9091 & # Expose vistio in another terminal window kubectl -n default port-forward $(kubectl -n default get pod -l app=vistio-web -o jsonpath='{.items[0].metadata.name}') 8080:8080 & ``` 如果一切都已經啟動并準備就緒，您就可以訪問Vistio UI，開始探索服務網格網絡，訪問[http://localhost:8080](http://localhost:8080/) 您將會看到類似下圖的輸出。  更多詳細內容請參考[Vistio—使用Netflix的Vizceral可視化Istio service mesh](https://servicemesher.github.io/blog/vistio-visualize-your-istio-mesh-using-netflixs-vizceral/)。 ### Kiali Kiali是一個用于提供Istio service mesh觀察性的項目，更多信息請查看 [https://kiali.io](https://kiali.io/)。 在本地該項目的根路徑下執行下面的命令： ```bash kubectl apply -n istio-system -f addon/kiali ``` Kiali web地址：`http://172.17.8.101:31439` 用戶名/密碼：admin/admin  **注意**：Kilia使用Jaeger做追蹤，請不用屏蔽kilia頁面的彈出窗口。 ### Weave scope [Weave scope](https://github.com/weaveworks/scope)可用于監控、可視化和管理Docker&Kubernetes集群，詳情見 https://www.weave.works/oss/scope/ 在本地該項目的根路徑下執行下面的命令： ```bash kubectl apply -f addon/weave-scope ``` 在本地的`/etc/hosts`下增加一條記錄。 ``` 172.17.8.102 scope.weave.jimmysong.io ``` 現在打開瀏覽器，訪問 `http://scope.weave.jimmysong.io/`  ## 管理 除了特別說明，以下命令都在當前的repo目錄下操作。 ### 掛起 將當前的虛擬機掛起，以便下次恢復。 ```bash vagrant suspend ``` ### 恢復 恢復虛擬機的上次狀態。 ```bash vagrant resume ``` 注意：我們每次掛起虛擬機后再重新啟動它們的時候，看到的虛擬機中的時間依然是掛載時候的時間，這樣將導致監控查看起來比較麻煩。因此請考慮先停機再重新啟動虛擬機。 ### 重啟 停機后重啟啟動。 ```bash vagrant halt vagrant up # login to node1 vagrant ssh node1 # run the prosivision scripts /vagrant/hack/k8s-init.sh exit # login to node2 vagrant ssh node2 # run the prosivision scripts /vagrant/hack/k8s-init.sh exit # login to node3 vagrant ssh node3 # run the prosivision scripts /vagrant/hack/k8s-init.sh sudo -i cd /vagrant/hack ./deploy-base-services.sh exit ``` 現在你已經擁有一個完整的基礎的kubernetes運行環境，在該repo的根目錄下執行下面的命令可以獲取kubernetes dahsboard的admin用戶的token。 ```bash hack/get-dashboard-token.sh ``` 根據提示登錄即可。 ### 清理 清理虛擬機。 ```bash vagrant destroy rm -rf .vagrant ``` ### 注意 僅做開發測試使用，不要在生產環境使用該項目。 ## 參考 - [Kubernetes handbook - jimmysong.io](https://jimmysong.io/kubernetes-handbook) - [duffqiu/centos-vagrant](https://github.com/duffqiu/centos-vagrant) - [coredns/deployment](https://github.com/coredns/deployment) - [Kubernetes 1.8 kube-proxy 開啟 ipvs](https://mritd.me/2017/10/10/kube-proxy-use-ipvs-on-kubernetes-1.8/#%E4%B8%80%E7%8E%AF%E5%A2%83%E5%87%86%E5%A4%87) - [Vistio—使用Netflix的Vizceral可視化Istio service mesh](https://servicemesher.github.io/blog/vistio-visualize-your-istio-mesh-using-netflixs-vizceral/)