#### 這是本人學習[部署落地+業務遷移 玩轉k8s進階與企業級實踐技能](https://coding.imooc.com/learn/list/335.html "部署落地+業務遷移 玩轉k8s進階與企業級實踐技能")的筆記,如果需要附件,請到首頁百度網盤地址獲取
基礎環境
| 系統 | IP地址 | 節點角色 | CPU | 內存 | 主機名 |
| :------------: | :------------: | :------------: | :------------: | :------------: | :------------: |
| centos-7.7 |192.168.88.101 | Master | 2 | 2G | docker-2-12-101 |
| centos-7.7 |192.168.88.102 | Master | 2 | 2G |docker-2-12-102 |
| centos-7.7 |192.168.88.103 | Node | 2 | 2G | docker-2-12-103 |
| centos-7.7 | 192.168.88.104 | Node | 2 | 2G | docker-2-12-104 |
MasterVIP:192.168.88.188(APIServer)
軟件環境
```
kubernetes 1.14.10
etcd 3.3.10
coredns 1.3.1
calico 3.1.3
docker 18.09(驗證版本),實際我用19.03.5
```
部署依賴
```
yum update
yum install -y conntrack ipvsadm ipset jq sysstat curl iptables libseccomp
```
內核參數優化
```
cat > /etc/sysctl.d/kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
vm.swappiness=0
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_watches=89100
EOF
sysctl -p /etc/sysctl.d/kubernetes.conf
```
關閉服務
```
# 關閉防火墻
systemctl stop firewalld && systemctl disable firewalld
# 重置iptables
iptables -F && iptables -X && iptables -F -t nat && iptables -X -t nat && iptables -P FORWARD ACCEPT
# 關閉swap(基于性能考慮,初始化參數可以忽略)
swapoff -a
sed -i '/swap/s/^\(.*\)$/#\1/g' /etc/fstab
# 關閉selinux
setenforce 0
# 關閉dnsmasq(否則可能導致docker容器無法解析域名)
service dnsmasq stop && systemctl disable dnsmasq
```
初始化主機名
```
cat >> /etc/hosts << EOF
192.168.88.101 main-101 c7-docker-101
192.168.88.102 main-102 c7-docker-102
192.168.88.103 node-103 c7-docker-103
192.168.88.104 node-104 c7-docker-104
EOF
```
修改Docker的驅動模式為systemd,請先確認方式一沒有配置/etc/docker/daemon.json
```
cat /etc/docker/daemon.json
{
.....
"exec-opts": ["native.cgroupdriver=systemd"]
.....
}
```
安裝工具(所有節點)
```
# 配置阿里云yum源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
# 安裝
yum install -y --nogpgcheck kubelet-1.14.10 kubeadm-1.14.10 kubectl-1.14.10
# 啟動
systemctl enable kubelet && systemctl start kubelet
```
#### 部署Keepalived集群(任意兩臺Master)
/opt/kubeadm-k8s1.14/configs和的keepalived配置文件和/opt/kubeadm-k8s1.14/scritps的腳本文件
```
yum install -y keepalived
```
#### 初始化Master-1
修改kubeadm-config.yaml的k8s版本和VIP,并上傳到/root目錄
```
apiVersion: kubeadm.k8s.io/v1beta1
kind: ClusterConfiguration
kubernetesVersion: v1.14.10
controlPlaneEndpoint: "192.168.88.188:6443"
networking:
# This CIDR is a Calico default. Substitute or remove for your CNI provider.
podSubnet: "172.22.0.0/16"
imageRepository: registry.aliyuncs.com/google_containers
```
初始化
```
cd ~
kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs
# 配置文件中從阿里云拉取的容器鏡像,速度很快
# 1.16之后參數有變化 experimental-upload-certs更換為upload-certs
```
拷貝配置,master執行
```
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
```
##### 初始化成功,記錄相關命令,用于其他節點加入集群
Master-2執行加入master節點命令
```
kubeadm join 192.168.88.233:6443 --token xzp2kb.habisql3vkgyx02d \
--discovery-token-ca-cert-hash sha256:4526f6e8f08a5c5564e5488c5b939753ee26b7fd0c8ca81423af2d4a58c718a6 \
--experimental-control-plane --certificate-key 5d1af50558253c92b5d9df07a14144ffb37edeb2f0afef5af4dcc3fc022846b3
```
加入Node節點
```
kubeadm join 192.168.88.233:6443 --token xzp2kb.habisql3vkgyx02d \
--discovery-token-ca-cert-hash sha256:4526f6e8f08a5c5564e5488c5b939753ee26b7fd0c8ca81423af2d4a58c718a6
```
#### 初始化Calico網絡
```
# 創建目錄(在配置了kubectl的節點上執行)
mkdir -p /etc/kubernetes/addons
# 上傳calico配置到配置好kubectl的節點(一個節點即可)
cd /opt/kubernetes-ha-kubeadm/
scp target/addons/calico* 192.168.88.101:/etc/kubernetes/addons/
# 部署calico
kubectl apply -f /etc/kubernetes/addons/calico-rbac-kdd.yaml
kubectl apply -f /etc/kubernetes/addons/calico.yaml
# 查看狀態
$ kubectl get pods -n kube-system
# 由于沒有Node節點,部分節點可能失敗
```
加入Master和Work節點一段時間后,集群狀態如下
```
#kubectl get pods --all-namespaces
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system calico-node-6dxfm 2/2 Running 0 19m
kube-system calico-node-d2fq6 2/2 Running 1 19m
kube-system calico-node-kfj78 2/2 Running 0 16m
kube-system calico-node-l6vgh 2/2 Running 2 20m
kube-system calico-node-rqkrr 2/2 Running 0 19m
kube-system calico-typha-666749994b-lnkbt 1/1 Running 0 20m
kube-system coredns-8567978547-g7pkr 1/1 Running 4 40m
kube-system coredns-8567978547-xzjkb 1/1 Running 4 40m
kube-system etcd-docker-2-12-101 1/1 Running 0 40m
kube-system etcd-m2 1/1 Running 0 19m
kube-system etcd-m3 1/1 Running 0 16m
kube-system kube-apiserver-docker-2-12-101 1/1 Running 0 40m
kube-system kube-apiserver-m2 1/1 Running 0 19m
kube-system kube-apiserver-m3 1/1 Running 0 16m
kube-system kube-controller-manager-docker-2-12-101 1/1 Running 1 40m
kube-system kube-controller-manager-m2 1/1 Running 0 19m
kube-system kube-controller-manager-m3 1/1 Running 0 16m
kube-system kube-proxy-2bx2q 1/1 Running 0 16m
kube-system kube-proxy-8vwqn 1/1 Running 0 19m
kube-system kube-proxy-cv7vg 1/1 Running 0 19m
kube-system kube-proxy-mmh7f 1/1 Running 0 40m
kube-system kube-proxy-pzk2r 1/1 Running 0 19m
kube-system kube-scheduler-docker-2-12-101 1/1 Running 1 39m
kube-system kube-scheduler-m2 1/1 Running 0 19m
kube-system kube-scheduler-m3 1/1 Running 0 16m
```
檢查集群狀態(Master)
```
curl -k https://localhost:6443/healthz
```
#### 集群可用性測試
創建nginx ds
```
cat > nginx-ds.yml <<EOF
apiVersion: v1
kind: Service
metadata:
name: nginx-ds
labels:
app: nginx-ds
spec:
type: NodePort
selector:
app: nginx-ds
ports:
- name: http
port: 80
targetPort: 80
---
apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
name: nginx-ds
labels:
addonmanager.kubernetes.io/mode: Reconcile
spec:
template:
metadata:
labels:
app: nginx-ds
spec:
containers:
- name: my-nginx
image: nginx:1.7.9
ports:
- containerPort: 80
EOF
```
創建ds
```
kubectl create -f nginx-ds.yml
```
#### 檢查各種ip連通性
```
# 檢查各 Node 上的 Pod IP 連通性
kubectl get pods -o wide
# 在每個節點上ping pod ip
ping <pod-ip>
# 檢查service可達性
kubectl get svc
# 在每個節點上訪問服務
curl <service-ip>:<port>
# 在每個節點檢查node-port可用性
curl <node-ip>:<port>
```
#### 檢查dns可用性
```
# 創建一個nginx pod
$ cat > pod-nginx.yaml <<EOF
apiVersion: v1
kind: Pod
metadata:
name: nginx
spec:
containers:
- name: nginx
image: nginx:1.7.9
ports:
- containerPort: 80
EOF
# 創建pod
kubectl create -f pod-nginx.yaml
# 進入pod,查看dns
kubectl exec nginx -i -t -- /bin/bash
# 查看dns配置
cat /etc/resolv.conf
# 查看名字是否可以正確解析
ping nginx-ds
```
#### 部署dashboard
```
# 上傳dashboard配置
scp target/addons/dashboard-all.yaml 192.168.88.101:/etc/kubernetes/addons/
# 創建服務
kubectl apply -f /etc/kubernetes/addons/dashboard-all.yaml
# 查看服務運行情況
kubectl get deployment kubernetes-dashboard -n kube-system
kubectl --namespace kube-system get pods -o wide
kubectl get services kubernetes-dashboard -n kube-system
netstat -ntlp|grep 30005
```
訪問Dashboard
如果第一次部署報錯,刪除pods后重新再創建,成功
```
xxx namespaces is forbidden xxx
```
```
https://192.168.88.101:30005
```
獲取Token
```
# 創建service account
kubectl create sa dashboard-admin -n kube-system
# 創建角色綁定關系
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
# 查看dashboard-admin的secret名字
ADMIN_SECRET=$(kubectl get secrets -n kube-system | grep dashboard-admin | awk '{print $1}')
# 打印secret的token
kubectl describe secret -n kube-system ${ADMIN_SECRET} | grep -E '^token' | awk '{print $2}'
```
- 獻給樂于奉獻的你
- 一、工作感悟
- 1.1 工作感悟
- 1.2 數據庫工作總結
- 二、運維專題(非技術)
- 2.1 公有云運維
- 2.1.1 阿里云采坑記.md
- 三、運維專題(技術類)
- 3.1 Linux(操作系統)
- 3.1.1 常見工作總結
- 3.1.2 常見服務使用和部署
- 3.1.3 操作系統優化
- 3.1.4 常用命令(Centos8)
- 3.2 Docker & K8s(容器技術)
- 3.2.1 Docker
- 1. Docker
- 1-1 容器基礎
- 1-2 部署和加速
- 1-3 常用命令
- 1-4 Dockerfile編寫
- 1-5 容器網絡
- 1-6 數據持久化
- 2. docker-compose
- 2-1 基礎
- 3.2.2 kubernetes
- 1. 導讀-請先看我
- 2. kubeadm部署集群
- 1-1 k8s-1.14-基于calico
- 1-2 k8s-1.17-基于flanne
- 3. 二進制部署集群
- 4. 日常工作及故障處理
- 4-1 常用命令
- 4-2 故障處理
- 3.2.3 依賴服務部署
- 1. Harbor(鏡像倉庫)
- 1-1 harbor-2.1.0(單節點)
- 3.3 CICD(持續集成/部署)
- 3.3.1 GitLab
- 1. 服務部署
- 1-1 Gitlab-CE-13.3.4(單節點)
- 2. Git基礎
- 3.3.2 Ansible
- 1. 服務部署
- 1-2 ansible-2.5(pip部署)
- 3. ansible-playbook
- 3-1 基于Roles的Playbook
- 3-3 循環語法
- 3.3.3 Jnekins
- 1. Jenkins部署
- 1-1 Jenkins-2.65部署
- 1-2 Jenkins-2.249部署
- 2. Jenkins項目初始化
- 3. Jenkins集成
- 3-1 Jenkins-2.65集成Sonar
- 3.4 LB/HA(負載均衡,反向代理)
- 3.4.1 LVS+Keepalive
- 1. LVS為MySQL讀提供負載均衡
- 3.4.2 Pacemaker(HA)
- 1. 常用命令(轉)
- 3.5 Runtime(代碼運行環境)
- 3.5.1 Tomcat(Web中間件)
- 1. Tomcat部署手冊
- 1-1 Tomcat-7.0.76部署
- 2. Tomcat常用腳本
- 3.6 NoSQL(非關系型數據庫)
- 3.6.1 redis(非關系數據庫)
- 1. Redis 基礎
- 2. Redis 4.0變化
- 3. Codis實現Redis的集群
- 4. Redis故障處理
- 5. redis安全第一步
- 6. Redis集群搭建
- 7. CacheCloud部署
- 3.6.1 Redis挑戰
- 3.6.2 MongoDB(文檔數據庫)
- 1. Mongodb基礎
- 1-1 Mongodb4.0新特性
- 1-2 支持多大數據量
- 2. Mongodb安裝
- 2-1 Mac OS安裝Mongodb
- 2-2 Yum安裝Mongodb
- 2-3 二進制安裝Mongodb
- 2-4 docker容器安裝Mongodb
- 2-5 Mongodb 配置文件詳解
- 2-6 Mongodb 生產安全清單
- 2-7 用戶身份認證和授權
- 3. Mongodb副本集
- 3-1 副本集搭建
- 3-2 用戶身份認證與授權
- 4. 日常維護工作
- 4-1 Mongodb磁盤回收
- 4-2 Mongodb備份恢復到任意時間點
- 4-3 Mongodb慢查詢分析
- 4-4 Mongodb版本升級
- 4-5 Mongodb副本集成員狀態
- 4-6 Mongodb備份恢復工具使用
- 4-7 Mongodb服務啟動和停止
- 4-8 修改副本集成員oplog大小
- 4-9 Mongodb 副本集Oplog
- 3.7 MQ(消息隊列)
- 3.7.1 Zookeeper(分布式協調系統)
- 1. ZooKeeper基礎
- 2. ZooKeeper集群搭建
- 2-1 ZK-3.4.10部署
- 3.2 RabbitMQ(消息隊列)
- 1. 服務部署
- 1-1 RabbitMQ-3.8部署
- 2. 常用命令
- 3.8 Monitor(數據收集,監控)
- 3.8.1 Zabbix(運維監控)
- 1. 服務部署
- 1-1 服務端部署
- 1-2 客戶端部署
- 2. 監控服務
- 2-1 監控Apache
- 2-2 監控IIS
- 2-3 監控Ningx
- 2-4 監控Tomcat(6/7/8)
- 2-5 監控WebSphere 7
- 2-6 監控MySQL
- 2-7 監控Oracle
- 2-8 監控SQL Servre
- 2-9 監控Weblogic
- 2-10 監控Windows
- 2-11 自定義監控項
- 3. 告警推送
- 3-1 郵件告警
- 3-2 短信告警
- 3-3 告警推到Syslog
- 4. 日常工作
- 4-1 數據庫優化(TokuDB)
- 4-2 數據庫優化(分區表)
- 4-3 前端定制(Grafana)
- 5. 與Grafana結合
- 3.8.2 ELKBstack(日志收集展示)
- 1. 服務部署
- 1-1 ELK 5.5部署及配置
- 1-1-1 ELKBstack介紹
- 1-1-2 Elasticsearch部署
- 1-1-3 Logstash部署
- 1-1-4 Kibana部署
- 1-1-5 X-pack部署
- 1-1-6 Filebeat部署
- 2. ELK高級配置
- 1. Elasticsearch實戰
- 2. Logstash實戰
- 3. Filebeat實戰
- 5. 引入隊列
- 3.9 Virtualization(虛擬化)
- 3.10 Basic(基礎服務)
- 3.10.1 Piwik-Matomo(用戶行為分析)
- 1. Piwik前期分析
- 2. Piwik介紹和部署
- 2-1 Piwik-3.x版本(早期)
- 3. Piwik 功能配置
- 4. Piwik 模擬數據和壓測
- 5. Piwik運轉原理
- 6. Piwik數據庫模式(一)
- 6-1 第一部分
- 6-2 第二部分
- 3.10.2 Cobbler(系統自動部署)
- 1. Cobbler 可以干什么?
- 2. Cobbler 基礎原理
- 3. Cobbler 安裝
- 3-1 Cobbler-2.8部署
- 4. Cobbler 基礎配置
- 5. Cobbler 配置文件
- 6. 一鍵優化腳本
- 3.10.3 Rsync(數據同步服務)
- 1. Rsync基礎
- 2. 案例:頁面部署(服務端拉取)
- 3.10.4 NFS(共享存儲)
- 1. NFS部署手冊
- 2. 客戶端NFS備份腳本
- 3.10.5 Grafana(可視化)
- 1. 安裝(8.2.x)
- 3.11 Tools(軟件工具)
- 3.11.1 基準測試
- 1. 基準測試方法論
- 2. 壓測工具 - Siege
- 3. 壓測工具 - http_load
- 3.12 DB(關系型數據庫)
- 3.12.1 MySQL(關系數據庫)
- 1. MySQL部署
- 1-1 MySQL-5.7部署
- 1-2 Percona-5.7 + TokuDB 部署
- 2. MySQL復制
- 2-1 MySQL異步復制
- 3. MySQL備份恢復
- 3-1 xtrabackup 備份恢復
- 4. MySQL 高可用
- 4-1 MHA(HA)
- 4-1-1 MHA 架構介紹和原理
- 4-1-2 MHA日常管理
- 4-1-3 MHA 自動Failover
- 4-1-4 MHA常用參數
- 4-1-5 MHA 報錯
- 4-1-6 MHA相關配置文件和腳本
- 4-2 MyCAT
- 4-2-1 MyCAT 介紹和部署
- 4-1-3 MyCAT讀寫分離案例解析
- 5. MySQL 常用腳本
- 5-1 MySQL常用統計語句
- 5-2 MySQL性能分析腳本
- 6. MySQL 日常及故障處理
- 6-1 MySQL死鎖排查
- 6-2 復制故障
- 6-3 MySQL 升級注意事項
- 6-3 MySQL授權
- 3.12.2 Oracle(關系數據庫)
- 1. Oracle部署
- 1-1 Oracle11g單實例部署
- 1-2 Oracle12c單實例部署
- 2. Oracle常用腳本
- 3. Oracle 知識點
- 六、Ansible開源項目
- 6.1 項目初始化手冊
- 6.1.1 Ansible錯誤處理
- 6.1.2 一種預先判斷是否操作的方法
- 6.2 System初始化
- 6.3 Nginx/Tnginx部署
- 6.4 Python部署
- 6.5 PHP部署
- 6.6 MySQL部署
- 6.7 Docker部署
- 6.8 Haproxy部署
- 6.9 Redis部署
- 1. 變量和tags信息
- 3. Redis主從部署
- 4. Redis集群部署
- 5. 清理數據
- 6.10 Software軟件部署
- 6.11 Zabbix部署
- 6.12 Elastic部署
- 6.13 Tomcat
- 6.14 Kafka部署
- 6.15 Zookeeper部署
- 6.16 Etcd集群部署
- 6.17 M3DB部署
- 6.18 Pormetheus部署
- 七、學習資源推薦
- 八、從瞎搞到放棄
- 8.1 CodeQL(語義代碼分析引擎)
- 8.1.1 背景及計劃
- 8.1.2 CodeQL概述
- 8.1.3 簡單部署和使用
- 8.1.4 后續
- 8.2 dbdeployer(輕松部署MySQL)
- 歸檔筆記
- 三、常用服務部署(遷移中)
- 3.4 Nginx & PHP(Web服務)
- 3.4.1 Nginx(Web)
- 1. Nginx基礎和部署
- 2. Nginx 我的一些思考
- 3. Nginx(Web)配置
- 4. Nginx(Proxy)配置
- 5. Nginx日常管理
- 3.4.3 PHP
- 1. PHP 7.1 部署
- 2. PHP5.6 部署
- 4. PHP原理
- 5. PHP 常用模塊
- 二、運維項目實戰(遷移中)
- 2.1 標準化 & 工具化項目
- 2.1.1 系統部署和優化
- 2.1.5 全網日志收集展示平臺項目
- 1. 項目需求
- 2. 整體方案規劃
- 3. 日志收集配置
- 4. 消息緩沖隊列
- 5. 日志處理轉發
- 6. 日志數據展示(待補充)
- 7. ELK安全配置(上)
- 8. ELK安全配置(下)
- 9. 項目總結
- 2.2 高性能Web項目
- 2.2.1 網站需求(完善中)