生成kubeconfig文件：

mkdir /root/.kube
KUBE_CONFIG="/root/.kube/config"
KUBE_APISERVER="https://192.168.31.71:6443"
kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=${KUBE_CONFIG}
kubectl config set-credentials cluster-admin \
  --client-certificate=./admin.pem \
  --client-key=./admin-key.pem \
  --embed-certs=true \
  --kubeconfig=${KUBE_CONFIG}
kubectl config set-context default \
  --cluster=kubernetes \
  --user=cluster-admin \
  --kubeconfig=${KUBE_CONFIG}
kubectl config use-context default --kubeconfig=${KUBE_CONFIG}

通過kubectl工具查看當前集群組件狀態(tài)：

kubectl get cs
NAME                STATUS    MESSAGE             ERROR
scheduler             Healthy   ok                  
controller-manager       Healthy   ok                  
etcd-2               Healthy   {"health":"true"}   
etcd-1               Healthy   {"health":"true"}   
etcd-0               Healthy   {"health":"true"}

如上輸出說明Master節(jié)點組件運行正常。

6. 授權(quán)kubelet-bootstrap用戶允許請求證書

kubectl create clusterrolebinding kubelet-bootstrap \
--clusterrole=system:node-bootstrapper \
--user=kubelet-bootstrap

五、部署Worker Node

如果你在學習中遇到問題或者文檔有誤可聯(lián)系阿良~ 微信: xyz12366699

下面還是在Master Node上操作，即同時作為Worker Node

5.1 創(chuàng)建工作目錄并拷貝二進制文件

在所有worker node創(chuàng)建工作目錄：

mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}

從master節(jié)點拷貝：

cd kubernetes/server/bin
cp kubelet kube-proxy /opt/kubernetes/bin   # 本地拷貝

5.2 部署kubelet

1. 創(chuàng)建配置文件

cat > /opt/kubernetes/cfg/kubelet.conf << EOF
KUBELET_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--hostname-override=k8s-master1 \\
--network-plugin=cni \\
--kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig \\
--bootstrap-kubeconfig=/opt/kubernetes/cfg/bootstrap.kubeconfig \\
--config=/opt/kubernetes/cfg/kubelet-config.yml \\
--cert-dir=/opt/kubernetes/ssl \\
--pod-infra-container-image=lizhenliang/pause-amd64:3.0"
EOF

• —hostname-override：顯示名稱，集群中唯一

• —network-plugin：啟用CNI

• —kubeconfig：空路徑，會自動生成，后面用于連接apiserver

• —bootstrap-kubeconfig：首次啟動向apiserver申請證書

• —config：配置參數(shù)文件

• —cert-dir：kubelet證書生成目錄

• —pod-infra-container-image：管理Pod網(wǎng)絡容器的鏡像

2. 配置參數(shù)文件

cat > /opt/kubernetes/cfg/kubelet-config.yml << EOF
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
address: 0.0.0.0
port: 10250
readOnlyPort: 10255
cgroupDriver: cgroupfs
clusterDNS:
- 10.0.0.2
clusterDomain: cluster.local 
failSwapOn: false
authentication:
  anonymous:
	enabled: false
  webhook:
	cacheTTL: 2m0s
	enabled: true
  x509:
	clientCAFile: /opt/kubernetes/ssl/ca.pem 
authorization:
  mode: Webhook
  webhook:
	cacheAuthorizedTTL: 5m0s
	cacheUnauthorizedTTL: 30s
evictionHard:
  imagefs.available: 15%
  memory.available: 100Mi
  nodefs.available: 10%
  nodefs.inodesFree: 5%
maxOpenFiles: 1000000
maxPods: 110
EOF

3. 生成kubelet初次加入集群引導kubeconfig文件

KUBE_CONFIG="/opt/kubernetes/cfg/bootstrap.kubeconfig"
KUBE_APISERVER="https://192.168.31.71:6443" # apiserver IP:PORT
TOKEN="c47ffb939f5ca36231d9e3121a252940" # 與token.csv里保持一致
# 生成 kubelet bootstrap kubeconfig 配置文件
kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=${KUBE_CONFIG}
kubectl config set-credentials "kubelet-bootstrap" \
  --token=${TOKEN} \
  --kubeconfig=${KUBE_CONFIG}
kubectl config set-context default \
  --cluster=kubernetes \
  --user="kubelet-bootstrap" \
  --kubeconfig=${KUBE_CONFIG}
kubectl config use-context default --kubeconfig=${KUBE_CONFIG}

4. systemd管理kubelet

cat > /usr/lib/systemd/system/kubelet.service << EOF
[Unit]
Description=Kubernetes Kubelet
After=docker.service
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kubelet.conf
ExecStart=/opt/kubernetes/bin/kubelet \$KUBELET_OPTS
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF

5. 啟動并設置開機啟動

systemctl daemon-reload
systemctl start kubelet
systemctl enable kubelet

5.3 批準kubelet證書申請并加入集群

# 查看kubelet證書請求
kubectl get csr
NAME                                                   AGE    SIGNERNAME                                    REQUESTOR           CONDITION
node-csr-uCEGPOIiDdlLODKts8J658HrFq9CZ--K6M4G7bjhk8A   6m3s   kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Pending
# 批準申請
kubectl certificate approve node-csr-uCEGPOIiDdlLODKts8J658HrFq9CZ--K6M4G7bjhk8A
# 查看節(jié)點
kubectl get node
NAME         STATUS     ROLES    AGE   VERSION
k8s-master1   NotReady      7s    v1.18.3

注：由于網(wǎng)絡插件還沒有部署，節(jié)點會沒有準備就緒 NotReady

5.4 部署kube-proxy

1. 創(chuàng)建配置文件

cat > /opt/kubernetes/cfg/kube-proxy.conf << EOF
KUBE_PROXY_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--config=/opt/kubernetes/cfg/kube-proxy-config.yml"
EOF

2. 配置參數(shù)文件

cat > /opt/kubernetes/cfg/kube-proxy-config.yml << EOF
kind: KubeProxyConfiguration
apiVersion: kubeproxy.config.k8s.io/v1alpha1
bindAddress: 0.0.0.0
metricsBindAddress: 0.0.0.0:10249
clientConnection:
  kubeconfig: /opt/kubernetes/cfg/kube-proxy.kubeconfig
hostnameOverride: k8s-master1
clusterCIDR: 10.0.0.0/24
EOF

3. 生成kube-proxy.kubeconfig文件

生成kube-proxy證書：

# 切換工作目錄
cd ~/TLS/k8s
# 創(chuàng)建證書請求文件
cat > kube-proxy-csr.json << EOF
{
  "CN": "system:kube-proxy",
  "hosts": [],
  "key": {
	"algo": "rsa",
	"size": 2048
  },
  "names": [
	{
	  "C": "CN",
	  "L": "BeiJing",
	  "ST": "BeiJing",
	  "O": "k8s",
	  "OU": "System"
	}
  ]
}
EOF
# 生成證書
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy
生成kubeconfig文件：
KUBE_CONFIG="/opt/kubernetes/cfg/kube-proxy.kubeconfig"
KUBE_APISERVER="https://192.168.31.71:6443"
kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=${KUBE_CONFIG}
kubectl config set-credentials kube-proxy \
  --client-certificate=./kube-proxy.pem \
  --client-key=./kube-proxy-key.pem \
  --embed-certs=true \
  --kubeconfig=${KUBE_CONFIG}
kubectl config set-context default \
  --cluster=kubernetes \
  --user=kube-proxy \
  --kubeconfig=${KUBE_CONFIG}
kubectl config use-context default --kubeconfig=${KUBE_CONFIG}

4. systemd管理kube-proxy

cat > /usr/lib/systemd/system/kube-proxy.service << EOF
[Unit]
Description=Kubernetes Proxy
After=network.target
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-proxy.conf
ExecStart=/opt/kubernetes/bin/kube-proxy \$KUBE_PROXY_OPTS
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF

5. 啟動并設置開機啟動

systemctl daemon-reload
systemctl start kube-proxy
systemctl enable kube-proxy

5.5 部署網(wǎng)絡組件

Calico是一個純?nèi)龑拥臄?shù)據(jù)中心網(wǎng)絡方案，是目前Kubernetes主流的網(wǎng)絡方案。

部署Calico：

kubectl apply -f calico.yaml
kubectl get pods -n kube-system

等Calico Pod都Running，節(jié)點也會準備就緒：

kubectl get node
NAME         STATUS   ROLES    AGE   VERSION
k8s-master   Ready       37m   v1.20.4

5.6 授權(quán)apiserver訪問kubelet

應用場景：例如kubectl logs

cat > apiserver-to-kubelet-rbac.yaml << EOF
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  annotations:
	rbac.authorization.kubernetes.io/autoupdate: "true"
  labels:
	kubernetes.io/bootstrapping: rbac-defaults
  name: system:kube-apiserver-to-kubelet
rules:
  - apiGroups:
	  - ""
	resources:
	  - nodes/proxy
	  - nodes/stats
	  - nodes/log
	  - nodes/spec
	  - nodes/metrics
	  - pods/log
	verbs:
	  - "*"
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: system:kube-apiserver
  namespace: ""
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: system:kube-apiserver-to-kubelet
subjects:
  - apiGroup: rbac.authorization.k8s.io
	kind: User
	name: kubernetes
EOF
kubectl apply -f apiserver-to-kubelet-rbac.yaml

5.7 新增加Worker Node

1. 拷貝已部署好的Node相關(guān)文件到新節(jié)點

在Master節(jié)點將Worker Node涉及文件拷貝到新節(jié)點192.168.31.72/73

scp -r /opt/kubernetes [email protected]:/opt/
scp -r /usr/lib/systemd/system/{kubelet,kube-proxy}.service [email protected]:/usr/lib/systemd/system
scp /opt/kubernetes/ssl/ca.pem [email protected]:/opt/kubernetes/ssl

2. 刪除kubelet證書和kubeconfig文件

rm -f /opt/kubernetes/cfg/kubelet.kubeconfig 
rm -f /opt/kubernetes/ssl/kubelet*

注：這幾個文件是證書申請審批后自動生成的，每個Node不同，必須刪除

3. 修改主機名

vi /opt/kubernetes/cfg/kubelet.conf
--hostname-override=k8s-node1
vi /opt/kubernetes/cfg/kube-proxy-config.yml
hostnameOverride: k8s-node1

4. 啟動并設置開機啟動

systemctl daemon-reload
systemctl start kubelet kube-proxy
systemctl enable kubelet kube-proxy

5. 在Master上批準新Node kubelet證書申請

# 查看證書請求
kubectl get csr
NAME           AGE   SIGNERNAME                    REQUESTOR           CONDITION
node-csr-4zTjsaVSrhuyhIGqsefxzVoZDCNKei-aE2jyTP81Uro   89s   kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Pending
# 授權(quán)請求
kubectl certificate approve node-csr-4zTjsaVSrhuyhIGqsefxzVoZDCNKei-aE2jyTP81Uro

6. 查看Node狀態(tài)

kubectl get node
NAME       STATUS   ROLES    AGE     VERSION
k8s-master1   Ready       47m     v1.20.4
k8s-node1    Ready       6m49s   v1.20.4

Node2（192.168.31.73 ）節(jié)點同上。記得修改主機名！

六、部署Dashboard和CoreDNS

6.1 部署Dashboard

kubectl apply -f kubernetes-dashboard.yaml
# 查看部署
kubectl get pods,svc -n kubernetes-dashboard

訪問地址： https://NodeIP:30001

創(chuàng)建service account并綁定默認cluster-admin管理員集群角色：

kubectl create serviceaccount dashboard-admin -n kube-system
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

使用輸出的token登錄Dashboard。

6.2 部署CoreDNS

CoreDNS用于集群內(nèi)部Service名稱解析。

kubectl apply -f coredns.yaml 
kubectl get pods -n kube-system  
NAME                          READY   STATUS    RESTARTS   AGE 
coredns-5ffbfd976d-j6shb      1/1     Running   0          32s

DNS解析測試：

kubectl run -it --rm dns-test --image=busybox:1.28.4 sh 
If you don't see a command prompt, try pressing enter. 
/ # nslookup kubernetes 
Server:    10.0.0.2 
Address 1: 10.0.0.2 kube-dns.kube-system.svc.cluster.local 
Name:      kubernetes 
Address 1: 10.0.0.1 kubernetes.default.svc.cluster.local

解析沒問題。

至此一個單Master集群就搭建完成了！這個環(huán)境就足以滿足學習實驗了，如果你的服務器配置較高，可繼續(xù)擴容多Master集群！

七、擴容多Master（高可用架構(gòu)）

Kubernetes作為容器集群系統(tǒng)，通過健康檢查+重啟策略實現(xiàn)了Pod故障自我修復能力，通過調(diào)度算法實現(xiàn)將Pod分布式部署，并保持預期副本數(shù)，根據(jù)Node失效狀態(tài)自動在其他Node拉起Pod，實現(xiàn)了應用層的高可用性。

針對Kubernetes集群，高可用性還應包含以下兩個層面的考慮：Etcd數(shù)據(jù)庫的高可用性和Kubernetes Master組件的高可用性。 而Etcd我們已經(jīng)采用3個節(jié)點組建集群實現(xiàn)高可用，本節(jié)將對Master節(jié)點高可用進行說明和實施。

Master節(jié)點扮演著總控中心的角色，通過不斷與工作節(jié)點上的Kubelet和kube-proxy進行通信來維護整個集群的健康工作狀態(tài)。如果Master節(jié)點故障，將無法使用kubectl工具或者API做任何集群管理。

Master節(jié)點主要有三個服務kube-apiserver、kube-controller-manager和kube-scheduler，其中kube-controller-manager和kube-scheduler組件自身通過選擇機制已經(jīng)實現(xiàn)了高可用，所以Master高可用主要針對kube-apiserver組件，而該組件是以HTTP API提供服務，因此對他高可用與Web服務器類似，增加負載均衡器對其負載均衡即可，并且可水平擴容。

多Master架構(gòu)圖：

7.1 部署Master2 Node

現(xiàn)在需要再增加一臺新服務器，作為Master2 Node，IP是192.168.31.74。

為了節(jié)省資源你也可以將之前部署好的Worker Node1復用為Master2 Node角色（即部署Master組件）

Master2 與已部署的Master1所有操作一致。所以我們只需將Master1所有K8s文件拷貝過來，再修改下服務器IP和主機名啟動即可。

1. 安裝Docker

scp /usr/bin/docker* [email protected]:/usr/bin
scp /usr/bin/runc [email protected]:/usr/bin
scp /usr/bin/containerd* [email protected]:/usr/bin
scp /usr/lib/systemd/system/docker.service [email protected]:/usr/lib/systemd/system
scp -r /etc/docker [email protected]:/etc
# 在Master2啟動Docker
systemctl daemon-reload
systemctl start docker
systemctl enable docker

2. 創(chuàng)建etcd證書目錄

在Master2創(chuàng)建etcd證書目錄：

mkdir -p /opt/etcd/ssl

3. 拷貝文件（Master1操作）

拷貝Master1上所有K8s文件和etcd證書到Master2：

scp -r /opt/kubernetes [email protected]:/opt
scp -r /opt/etcd/ssl [email protected]:/opt/etcd
scp /usr/lib/systemd/system/kube* [email protected]:/usr/lib/systemd/system
scp /usr/bin/kubectl  [email protected]:/usr/bin
scp -r ~/.kube [email protected]:~

4. 刪除證書文件

刪除kubelet證書和kubeconfig文件：

rm -f /opt/kubernetes/cfg/kubelet.kubeconfig 
rm -f /opt/kubernetes/ssl/kubelet*

5. 修改配置文件IP和主機名

修改apiserver、kubelet和kube-proxy配置文件為本地IP：

vi /opt/kubernetes/cfg/kube-apiserver.conf 
...
--bind-address=192.168.31.74 \
--advertise-address=192.168.31.74 \
...
vi /opt/kubernetes/cfg/kubelet.conf
--hostname-override=k8s-master2
vi /opt/kubernetes/cfg/kube-proxy-config.yml
hostnameOverride: k8s-master2

6. 啟動設置開機啟動

systemctl daemon-reload
systemctl start kube-apiserver kube-controller-manager kube-scheduler kubelet kube-proxy
systemctl enable kube-apiserver kube-controller-manager kube-scheduler kubelet kube-proxy

7. 查看集群狀態(tài)

修改連接master為本機IP

vi ~/.kube/config
...
server: https://192.168.31.74:6443
kubectl get cs
NAME                STATUS    MESSAGE             ERROR
scheduler             Healthy   ok                  
controller-manager       Healthy   ok                  
etcd-1               Healthy   {"health":"true"}   
etcd-2               Healthy   {"health":"true"}   
etcd-0               Healthy   {"health":"true"}

8. 批準kubelet證書申請

# 查看證書請求
kubectl get csr
NAME                      AGE          SIGNERNAME          REQUESTOR           CONDITION
node-csr-JYNknakEa_YpHz797oKaN-ZTk43nD51Zc9CJkBLcASU   85m   kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Pending
# 授權(quán)請求
kubectl certificate approve node-csr-JYNknakEa_YpHz797oKaN-ZTk43nD51Zc9CJkBLcASU
# 查看Node
kubectl get node
NAME        STATUS   ROLES    AGE   VERSION
k8s-master1    Ready       34h   v1.20.4
k8s-master2    Ready       2m   v1.20.4
k8s-node1     Ready       33h   v1.20.4
k8s-node2     Ready       33h   v1.20.4

如果你在學習中遇到問題或者文檔有誤可聯(lián)系wsj~ 微信: XWALY-5

7.2 部署Nginx+Keepalived高可用負載均衡器

kube-apiserver高可用架構(gòu)圖：

• Nginx是一個主流Web服務和反向代理服務器，這里用四層實現(xiàn)對apiserver實現(xiàn)負載均衡。

• Keepalived是一個主流高可用軟件，基于VIP綁定實現(xiàn)服務器雙機熱備，在上述拓撲中，Keepalived主要根據(jù)Nginx運行狀態(tài)判斷是否需要故障轉(zhuǎn)移（漂移VIP），例如當Nginx主節(jié)點掛掉，VIP會自動綁定在Nginx備節(jié)點，從而保證VIP一直可用，實現(xiàn)Nginx高可用。

注1：為了節(jié)省機器，這里與K8s Master節(jié)點機器復用。也可以獨立于k8s集群之外部署，只要nginx與apiserver能通信就行。

注2：如果你是在公有云上，一般都不支持keepalived，那么你可以直接用它們的負載均衡器產(chǎn)品，直接負載均衡多臺Master kube-apiserver，架構(gòu)與上面一樣。

在兩臺Master節(jié)點操作。

1. 安裝軟件包（主/備）

 yum install epel-release -y
 yum install nginx keepalived -y

2. Nginx配置文件（主/備一樣）

cat > /etc/nginx/nginx.conf << "EOF"
user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;
include /usr/share/nginx/modules/*.conf;
events {
	worker_connections 1024;
}
# 四層負載均衡，為兩臺Master apiserver組件提供負載均衡
stream {
	log_format  main  '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';
	access_log  /var/log/nginx/k8s-access.log  main;
	upstream k8s-apiserver {
	   server 192.168.31.71:6443;   # Master1 APISERVER IP:PORT
	   server 192.168.31.72:6443;   # Master2 APISERVER IP:PORT
	}
	server {
	   listen 16443; # 由于nginx與master節(jié)點復用，這個監(jiān)聽端口不能是6443，否則會沖突
	   proxy_pass k8s-apiserver;
	}
}
http {
	log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
					  '$status $body_bytes_sent "$http_referer" '
					  '"$http_user_agent" "$http_x_forwarded_for"';
	access_log  /var/log/nginx/access.log  main;
	sendfile            on;
	tcp_nopush          on;
	tcp_nodelay         on;
	keepalive_timeout   65;
	types_hash_max_size 2048;
	include             /etc/nginx/mime.types;
	default_type        application/octet-stream;
	server {
		listen       80 default_server;
		server_name  _;
		location / {
		}
	}
}
EOF

3. keepalived配置文件（Nginx Master）

cat > /etc/keepalived/keepalived.conf << EOF
global_defs { 
   notification_email { 
	 [email protected] 
	 [email protected] 
	 [email protected] 
   } 
   notification_email_from [email protected]  
   smtp_server 127.0.0.1 
   smtp_connect_timeout 30 
   router_id NGINX_MASTER
} 
vrrp_script check_nginx {
	script "/etc/keepalived/check_nginx.sh"
}
vrrp_instance VI_1 { 
	state MASTER 
	interface ens33  # 修改為實際網(wǎng)卡名
	virtual_router_id 51 # VRRP 路由 ID實例，每個實例是唯一的 
	priority 100    # 優(yōu)先級，備服務器設置 90 
	advert_int 1    # 指定VRRP 心跳包通告間隔時間，默認1秒 
	authentication { 
		auth_type PASS      
		auth_pass 1111 
	}  
	# 虛擬IP
	virtual_ipaddress { 
		192.168.31.88/24
	} 
	track_script {
		check_nginx
	} 
}
EOF

• vrrp_script：指定檢查nginx工作狀態(tài)腳本（根據(jù)nginx狀態(tài)判斷是否故障轉(zhuǎn)移）

• virtual_ipaddress：虛擬IP（VIP）

準備上述配置文件中檢查nginx運行狀態(tài)的腳本：

cat > /etc/keepalived/check_nginx.sh  << "EOF"
#!/bin/bash
count=$(ss -antp |grep 16443 |egrep -cv "grep|$$")
if [ "$count" -eq 0 ];then
	exit 1
else
	exit 0
fi
EOF
chmod +x /etc/keepalived/check_nginx.sh

4. keepalived配置文件（Nginx Backup）

cat > /etc/keepalived/keepalived.conf << EOF
global_defs { 
   notification_email { 
	 [email protected] 
	 [email protected] 
	 [email protected] 
   } 
   notification_email_from [email protected]  
   smtp_server 127.0.0.1 
   smtp_connect_timeout 30 
   router_id NGINX_BACKUP
} 
vrrp_script check_nginx {
	script "/etc/keepalived/check_nginx.sh"
}
vrrp_instance VI_1 { 
	state BACKUP 
	interface ens33
	virtual_router_id 51 # VRRP 路由 ID實例，每個實例是唯一的 
	priority 90
	advert_int 1
	authentication { 
		auth_type PASS      
		auth_pass 1111 
	}  
	virtual_ipaddress { 
		192.168.31.88/24
	} 
	track_script {
		check_nginx
	} 
}
EOF

準備上述配置文件中檢查nginx運行狀態(tài)的腳本：

cat > /etc/keepalived/check_nginx.sh  << "EOF"
#!/bin/bash
count=$(ss -antp |grep 16443 |egrep -cv "grep|$$")
if [ "$count" -eq 0 ];then
	exit 1
else
	exit 0
fi
EOF
chmod +x /etc/keepalived/check_nginx.sh

注：keepalived根據(jù)腳本返回狀態(tài)碼（0為工作正常，非0不正常）判斷是否故障轉(zhuǎn)移。

5. 啟動并設置開機啟動

systemctl daemon-reload
systemctl start nginx keepalived
systemctl enable nginx keepalived

6. 查看keepalived工作狀態(tài)

ip addr
1: lo:  mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
	link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
	inet 127.0.0.1/8 scope host lo
	   valid_lft forever preferred_lft forever
	inet6 ::1/128 scope host 
	   valid_lft forever preferred_lft forever
2: ens33:  mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
	link/ether 00:0c:29:04:f7:2c brd ff:ff:ff:ff:ff:ff
	inet 192.168.31.80/24 brd 192.168.31.255 scope global noprefixroute ens33
	   valid_lft forever preferred_lft forever
	inet 192.168.31.88/24 scope global secondary ens33
	   valid_lft forever preferred_lft forever
	inet6 fe80::20c:29ff:fe04:f72c/64 scope link 
	   valid_lft forever preferred_lft forever

可以看到，在ens33網(wǎng)卡綁定了192.168.31.88 虛擬IP，說明工作正常。

7. Nginx+Keepalived高可用測試

關(guān)閉主節(jié)點Nginx，測試VIP是否漂移到備節(jié)點服務器。

在Nginx Master執(zhí)行 pkill nginx;
在Nginx Backup，ip addr命令查看已成功綁定VIP。

8. 訪問負載均衡器測試

找K8s集群中任意一個節(jié)點，使用curl查看K8s版本測試，使用VIP訪問：

curl -k https://192.168.31.88:16443/version
{
  "major": "1",
  "minor": "20",
  "gitVersion": "v1.20.4",
  "gitCommit": "e87da0bd6e03ec3fea7933c4b5263d151aafd07c",
  "gitTreeState": "clean",
  "buildDate": "2021-02-18T16:03:00Z",
  "goVersion": "go1.15.8",
  "compiler": "gc",
  "platform": "linux/amd64"
}

可以正確獲取到K8s版本信息，說明負載均衡器搭建正常。該請求數(shù)據(jù)流程：curl -> vip(nginx) -> apiserver

通過查看Nginx日志也可以看到轉(zhuǎn)發(fā)apiserver IP：

tail /var/log/nginx/k8s-access.log -f
192.168.31.71 192.168.31.71:6443 - [02/Apr/2021:19:17:57 +0800] 200 423
192.168.31.71 192.168.31.72:6443 - [02/Apr/2021:19:18:50 +0800] 200 423

到此還沒結(jié)束，還有下面最關(guān)鍵的一步。

7.3 修改所有Worker Node連接LB VIP

試想下，雖然我們增加了Master2 Node和負載均衡器，但是我們是從單Master架構(gòu)擴容的，也就是說目前所有的Worker Node組件連接都還是Master1 Node，如果不改為連接VIP走負載均衡器，那么Master還是單點故障。

因此接下來就是要改所有Worker Node（kubectl get node命令查看到的節(jié)點）組件配置文件，由原來192.168.31.71修改為192.168.31.88（VIP）。

在所有Worker Node執(zhí)行：

sed -i 's#192.168.31.71:6443#192.168.31.88:16443#' /opt/kubernetes/cfg/*
systemctl restart kubelet kube-proxy

檢查節(jié)點狀態(tài)：

kubectl get node 
NAME         STATUS   ROLES    AGE   VERSION 
k8s-master1   Ready       32d   v1.20.4 
k8s-master2   Ready       10m   v1.20.4 
k8s-node1    Ready       31d   v1.20.4 
k8s-node2    Ready       31d   v1.20.4

至此，一套完整的 Kubernetes 高可用集群就部署完成了！