K8S 集群搭建

傷城~ 2024-02-18 10:15 68阅读 0赞

### 1、搭建清单 ###

*  2台linux服务器（一个master节点，一个node节点），建议搭3台（一个master，两个node）

我使用的是腾讯云，节点与节点使用公网IP通信

**确保2台服务器都安装了docker**

### 2、服务器前置工作 ###

*  如果是本机启动多个linux虚拟机，可忽略

建议学习阶段关闭防火墙及安全策略

![9c678b67b0414addb3b12e0b6b6ed012.png][]

如果需要添加安全组端口放行，我这里附上我的端口放行列表

放行端口如下：

1.  **8080**：选择性放行，这个在证书会使用到，建议放行
2.  **ping命令**需要使用到ICMP协议的端口建议全部放行，不然在ping时会失败
3.  **6443**：kube-apiserver 的通信端口。
4.  **2379**：etcd 的 client 端口。
5.  **2380**：etcd 的 peer 端口。
6.  **10250**：kubelet 的安全端口，用于与 kube-apiserver 通信。
7.  **10251**：kube-controller-manager 的安全端口，用于与 kube-apiserver 通信。
8.  **10252**：kube-scheduler 的安全端口，用于与 kube-apiserver 通信。
9.  还有一个**dashboard端口**，这个是在安装dashboard时动态生成的，注意下

### 3、K8S前置工作 ###

K8S要求虚拟机必须配置的内容，如下：

> \#各个机器设置自己的域名
> 
> \#master节点为：k8s-master，node节点为：k8s-node01  
> hostnamectl set-hostname xxxx
> 
>   
> \# 将 SELinux 设置为 permissive 模式（相当于将其禁用）  
> sudo setenforce 0  
> sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
> 
> \#关闭swap  
> swapoff -a  
> sed -ri 's/.\*swap.\*/\#&/' /etc/fstab
> 
> \#允许 iptables 检查桥接流量  
> cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf  
> br\_netfilter  
> EOF
> 
> cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf  
> net.bridge.bridge-nf-call-ip6tables = 1  
> net.bridge.bridge-nf-call-iptables = 1  
> EOF  
> sudo sysctl --system

### 4、安装kubelet、kubeadm、kubect ###

kubelet、kubeadm、kubect为K8S所有节点的三大件（每个节点都必须存在的）

注意：处理kubelet是以后台运行方式运行，其他的组件都是通过docker运行

*  指定下载的yum源

> cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo  
> \[kubernetes\]  
> name=Kubernetes  
> baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86\_64  
> enabled=1  
> gpgcheck=0  
> repo\_gpgcheck=0  
> gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg  
> http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg  
> exclude=kubelet kubeadm kubectl  
> EOF

*  下载（最好加sudo，有些系统即使是root，下载时也会卡主）

sudo yum install -y kubelet-1.20.9 kubeadm-1.20.9 kubectl-1.20.9 --disableexcludes=kubernetes

*  启动kubelet

sudo systemctl enable --now kubelet

kubelet 现在每隔几秒就会重启，因为它陷入了一个等待 kubeadm 指令的死循环

### 5、使用kubeadm引导集群 ###

##### 5.1、下载各个机器需要的镜像 #####

*  在2个linux创建脚本

sudo tee ./images.sh <<-'EOF'
    #!/bin/bash
    images=(
    kube-apiserver:v1.20.9
    kube-proxy:v1.20.9
    kube-controller-manager:v1.20.9
    kube-scheduler:v1.20.9
    coredns:1.7.0
    etcd:3.4.13-0
    pause:3.2
    )
    for imageName in ${images[@]} ; do
    docker pull registry.cn-hangzhou.aliyuncs.com/lfy_k8s_images/$imageName
    done
    EOF

注意：上述镜像是master节点所需的镜像，而node节点只需要 kube-proxy即可，为了防止搭建过程失败，可以再node节点中安装上述所有镜像

如果只安装kube-proxy，脚本应为：

sudo tee ./images.sh <<-'EOF'
    #!/bin/bash
    images=(
    kube-proxy:v1.20.9
    )
    for imageName in ${images[@]} ; do
    docker pull registry.cn-hangzhou.aliyuncs.com/lfy_k8s_images/$imageName
    done
    EOF

*  授权

chmod +x images.sh

*  执行

./images.sh

##### 5.2、修改节点信息 #####

*  集群的入口就是master节点

给所有服务器添加master节点信息

> \#cluster-endpoint 集群入口，这里的集群入口就是master节点的IP地址，111.230.19.178为master节点的公网IP
> 
> echo "111.230.19.178 cluster-endpoint" >> /etc/hosts

##### 5.3、初始化主节点 #####

kubeadm init \
    --apiserver-advertise-address=111.230.19.178 \
    --control-plane-endpoint=cluster-endpoint \
    --image-repository registry.cn-hangzhou.aliyuncs.com/lfy_k8s_images \
    --kubernetes-version v1.20.9 \
    --service-cidr=10.96.0.0/16 \
    --pod-network-cidr=192.168.0.0/16

*  \--apiserver-advertise-address=111.230.19.178 表示主节点的IP地址
 *  \--control-plane-endpoint 表示控制屏的入口，必须与5.2一致
 *  \--image-repository 表示镜像仓库，这里用的是阿里云
 *  \--kubernetes-version K8S的版本
 *  \--service-cidr 集群内部负载均衡使用的
 *  \--pod-network-cidr

注意：必须保证service-cid与pod-network-cidr不能重叠，且不能与master和所有的node重叠

##### 5.4、记初始化失败解决方案 #####

![61b7e8cfd397437bb2908f9f17f01e73.png][]

这个失败问题，首先需要明确解决该问题的思路

思路如下：

*  kubectl服务是以后台方式运行的，其他的组件服务都是以docker方式运行的
 *  首先明确kubectl服务是否正常
 *  再找docker运行的k8s组件服务是否正常

**1> 明确kubectl服务是否正常**

systemctl status kubelet

*  active (running) 即表示是正常，下面的日志不需要看
 *  ![29932090134245f5a23aeb5c17584349.png][]

**2>docker运行的k8s组件服务是否正常**

kubeadm init 其实就是在启动docker中的容器，初始化失败的话，也就证明容器启动是失败的，我们去定位到底是哪个容器失败了，如下

docker ps -a

![656b78369eba474eb305465d37379245.png][]

定位到2个容器启动失败，如下：

1.  k8s\_etcd 【就是etcd组件】
2.  k8s\_kube-apiserver 【kube-apiserver组件】

查看容器启动时日志：

*  注意：docker会自动重启失败的K8S容器，也就意味着失败容器的镜像ID会经过一段时间后改变，如果docker logs报没有这个容器，请在docker ps -a一次！！！

docker logs 容器ID/容器名称

etcd容器出现的错误：

etcdmain: listen tcp 111.230.19.178:2380: bind: cannot assign requested address，就是绑定这个IP+端口失败了

![80251b5a5d6a4b64ac8fba2551ae0995.png][]

kube-apiserver出现的错误：

Err :connection error: desc = "transport: Error while dialing dial tcp 127.0.0.1:2379: connect: connection refused"

注意：kube-apiserver连接2379端口（2379：etcd的client端口），其实就是去连接etcd！！！我们只需要解决etcd就可以了

![840f916ec98f430c96caf39765754323.png][]

解决方案：参考：[天翼云服务器部署 k8s etcdmain: listen tcp xx.xx.xx.xx:2380: bind: cannot assign requested address-CSDN博客][k8s etcdmain_ listen tcp xx.xx.xx.xx_2380_ bind_ cannot assign requested address-CSDN]

实测没问题

##### 5.5、master初始化成功后操作 #####

![ddb5fb99751a4903860a9a738a2e18c3.png][]

内容需要记录，这里面有node节点加入master集群的token信息(该token有效期为24h)

*  如果25htoken过期，可以在master节点使用下面命令重新生成token

kubeadm token create --print-join-command

> Your Kubernetes control-plane has initialized successfully!
> 
> To start using your cluster, you need to run the following as a regular user:
> 
> mkdir -p $HOME/.kube  
> sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config  
> sudo chown $(id -u):$(id -g) $HOME/.kube/config
> 
> Alternatively, if you are the root user, you can run:
> 
> export KUBECONFIG=/etc/kubernetes/admin.conf
> 
> You should now deploy a pod network to the cluster.  
> Run "kubectl apply -f \[podnetwork\].yaml" with one of the options listed at:  
> https://kubernetes.io/docs/concepts/cluster-administration/addons/
> 
> You can now join any number of control-plane nodes by copying certificate authorities  
> and service account keys on each node and then running the following as root:
> 
> kubeadm join cluster-endpoint:6443 --token 8vtydf.izdgell5pz20sm8n \\  
> \--discovery-token-ca-cert-hash sha256:c91feabc45fb32737dc63a491ef5f41d41c1c80660ebb48e1aef487a27130f98 \\  
> \--control-plane
> 
> Then you can join any number of worker nodes by running the following on each as root:
> 
> kubeadm join cluster-endpoint:6443 --token 8vtydf.izdgell5pz20sm8n \\  
> \--discovery-token-ca-cert-hash sha256:c91feabc45fb32737dc63a491ef5f41d41c1c80660ebb48e1aef487a27130f98

*  在master节点中，执行init初始化成功后，信息里面的3句命令：

mkdir -p $HOME/.kube
    sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    sudo chown $(id -u):$(id -g) $HOME/.kube/config

![9f7663e87eda4c41bf8eed7558258050.png][]

##### 5.6、安装网络插件 #####

*  这里插件选择的是calico，推荐使用fannel

**在master节点执行**

curl https://docs.projectcalico.org/v3.20/manifests/calico.yaml -O

![27be224ebd974d4a80623808c22a42b7.png][]

**使用calico**

kubectl apply -f calico.yaml

*  apply：应用什么
 *  \-f：表示file 文件

![48a39260bac24139b9bef489d3a333ef.png][]

注意，calico.yaml文件中，有一处与master初始化时是一致的，如果kubectl init时，pod-network-cidr=192.168.0.0/16 calico默认也是192.168

![730a49c6ac2145c6957631d1c2839e5f.png][]

**查看k8s当前节点信息**

kubectl get nodes

![6a7636a4aeee455997fc206a8b05da99.png][]

##### 5.7、kubectl常用命令 #####

> **\#查看集群所有节点  
> kubectl get nodes**
> 
> **\#根据配置文件，给集群创建资源  
> kubectl apply -f xxxx.yaml**
> 
> **\#查看集群部署了哪些应用？等同于docker ps  
> kubectl get pods -A**
> 
>   
> **\# 运行中的应用在docker里面叫容器，在k8s里面叫Pod**

##### 5.8、加入node节点 #####

在kubectl init中，把node节点加入命令复制，在node节点的机器上执行即可

*  先 docker images 查看镜像是否都有

![5018cacc542b47b585f546d66ac644c9.png][]

*  执行node节点添加命令（我的在步骤5.5中）

如果执行join时失败，如下

> accepts at most 1 arg(s), received 3  
> To see the stack trace of this error execute with --v=5 or higher

请把join命令在记事本中打开，编辑下格式，可能是shell连接工具导致的错误

![5f700a7d44504ddebc862cb470b9fe3b.png][]

![eb8c7d7b513149bb8d1369957752895d.png][]

*  在master节点中执行：

kubectl get nodes

*  注意：如果node节点为noReady，可以等一会，k8s还在初始化

![e40d539e6627473bab91f780f458dcfd.png][]

##### 5.9、删除node节点 #####

**<1> 先查看一下这个[node][]节点上的pod信息**

kubectl get nodes -o wide

**<2> 驱逐该node节点上的pod**

kubectl drain k8s-node01 --delete-local-data --force --ignore-daemonsets

**<3> 删除这个node节点**

kubectl delete nodes k8s-node01

至此，集群搭建完毕

--------------------

### 6、安装集群可视化界面dashboard ###

##### 6.1、K8S applydashboard #####

*  在主节点中执行：

kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.3.1/aio/deploy/recommended.yaml

如果无反应，可以在浏览器访问网址，然后在linux中新建yaml文件，把网页中的内容复制进yaml中，再kubectl apply -f yaml文件

![6c5b006e890544f4bdefb7c68aef8d23.png][]

*  使用命令查看k8s的dashboard

kubectl get pod -A

![d846c2d64d3a45548c3dba6df27e4240.png][]

#####  #####

##### 6.2、配置dashboard端口 #####

*  修改dashboard配置文件

kubectl edit svc kubernetes-dashboard -n kubernetes-dashboard

*  找到type: ClusterIP，把type改为**NodePort**

![7d1161d8f1154446880f7ecf6c73aceb.png][]

*  把dashboard的WEB访问页面的端口暴露到机器上（类似于docker -p端口映射）

kubectl get svc -A |grep kubernetes-dashboard

![d3ed11e312bb4954800bb347a2df03c1.png][]

*  注意：云服务器安全组需要放行该端口
 *  我的访问链接为（https请求）：https://111.230.19.178:32473
 *  上述IP可以使用任意节点的IP都可以

![94e5335472e14447840d315aaea81fd0.png][]

注意，在访问前，一定要坚持所有的pods是否允许成功，否则访问会失败

kubectl get pods -A

![eb3ee454c2b74a8c96511b9dcd4f9980.png][]

*  访问成功：https://111.230.19.178:32473

![72398a69d03a4f8daa83217cabde2e6e.png][]

##### 6.3、生成k8s访问账号密码 #####

*  创建访问账号，准备一个yaml文件； vi dash.yaml

#创建访问账号，准备一个yaml文件； vi dash.yaml
    apiVersion: v1
    kind: ServiceAccount
    metadata:
      name: admin-user
      namespace: kubernetes-dashboard
    ---
    apiVersion: rbac.authorization.k8s.io/v1
    kind: ClusterRoleBinding
    metadata:
      name: admin-user
    roleRef:
      apiGroup: rbac.authorization.k8s.io
      kind: ClusterRole
      name: cluster-admin
    subjects:
    - kind: ServiceAccount
      name: admin-user
      namespace: kubernetes-dashboard

![9522b2568f5d4f2fa7f4571cae1be8a0.png][]

*  K8S应用该脚本

kubectl apply -f dash.yaml

*  获取访问令牌

kubectl -n kubernetes-dashboard get secret $(kubectl -n kubernetes-dashboard get sa/admin-user -o jsonpath="{.secrets[0].name}") -o go-template="{
       {.data.token | base64decode}}"

![f5bdd80b2db64ae3be72fa528c68bceb.png][]

> eyJhbGciOiJSUzI1NiIsImtpZCI6Ik02dmU1ZnBScUIxaE45YUdYWUJqZmVvY3FyYmVkSkNXZHhTaVp4bmZxdk0ifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJhZG1pbi11c2VyLXRva2VuLXZwZjJjIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6ImFkbWluLXVzZXIiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC51aWQiOiI5ZDBlZDcwOC1kOTJlLTQzOTQtOTA0OS04N2UxNjJmZmZmODIiLCJzdWIiOiJzeXN0ZW06c2VydmljZWFjY291bnQ6a3ViZXJuZXRlcy1kYXNoYm9hcmQ6YWRtaW4tdXNlciJ9.luGUTFWDp79\_UUa02-cBo44Vqs4JahXcNpqIe4IYAA93-WNr-5s3lCHuHXnWtY-eGMDqCqCuBMWnChIdKi97ZvxF6JcwOFkd0EEi04pM-EOGT37nJHGjx4KhjWPU4VQZgP9c172DD8HAMe6\_VF4PEarB4lrTUXJqoAMufYO13rVRw8WxS-RPDfXSc7d2nEcy0x\_fYd1LEKXwfYq\_PvJFnoE2STNAbXcazQbfe0cKbyInkOpbhY\_gV4WU1FH8pHNH3BQ4E-Hs6VO9UWujZ3f7jphlMPlIRnprg55CeHSvYHsrX6s6SDMGaWfLfa9REgSkzE-mPelV16EocffLhmMZFg

*  登录dashboard

复制上述令牌，登录即可

![57534f5096dc42f0be96f16d70eb03c1.png][]

整合成功

[9c678b67b0414addb3b12e0b6b6ed012.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/8c33e9dd06d34913984cbf8e219c5171.png
[61b7e8cfd397437bb2908f9f17f01e73.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/d0d937437dd246a68515c748699bb8be.png
[29932090134245f5a23aeb5c17584349.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/a5803a202f294efaa0f0dd119d2d76b1.png
[656b78369eba474eb305465d37379245.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/9995d507c8db47ebb5ce2d8bb3441fab.png
[80251b5a5d6a4b64ac8fba2551ae0995.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/0d8bf9e04627490ea3ebe360467e9605.png
[840f916ec98f430c96caf39765754323.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/298e4ce595744815846563d1fe4b5161.png
[k8s etcdmain_ listen tcp xx.xx.xx.xx_2380_ bind_ cannot assign requested address-CSDN]: https://blog.csdn.net/haishan88996/article/details/109599057?ops_request_misc=&request_id=&biz_id=102&utm_term=etcdmain:%20listen%20tcp%20111.230.1&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduweb~default-2-109599057.142%5Ev96%5Econtrol&spm=1018.2226.3001.4187
[ddb5fb99751a4903860a9a738a2e18c3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/26b037b0e5754416b7ee04e78e38335b.png
[9f7663e87eda4c41bf8eed7558258050.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/63facb80b6104a0b948c981da024d96d.png
[27be224ebd974d4a80623808c22a42b7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/1cbc5cc450714036a32c73bee4057964.png
[48a39260bac24139b9bef489d3a333ef.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/62fc21c7bf8541e09bef8d85769eeaa8.png
[730a49c6ac2145c6957631d1c2839e5f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/3f621b3b67294aca94aebcf63913c751.png
[6a7636a4aeee455997fc206a8b05da99.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/3f50f8f10c914816a0be756ef7ba2bef.png
[5018cacc542b47b585f546d66ac644c9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/f3cff58d6ab44d5a8da05161a8e2b72c.png
[5f700a7d44504ddebc862cb470b9fe3b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/2d4ec7d5b86a4e008b4d823fc92d5191.png
[eb8c7d7b513149bb8d1369957752895d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/82e382b7020d4ccb9ebef6f25153d718.png
[e40d539e6627473bab91f780f458dcfd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/00bfaacbda3f4d9ba07582e69d829079.png
[node]: https://so.csdn.net/so/search?q=node&spm=1001.2101.3001.7020
[6c5b006e890544f4bdefb7c68aef8d23.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/781b7761d43c4cf395aaa9b1c9d995df.png
[d846c2d64d3a45548c3dba6df27e4240.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/20124017e842478f8fb55f555b1a2856.png
[7d1161d8f1154446880f7ecf6c73aceb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/6e89997d4a6846e5a71a35fb8cc09efe.png
[d3ed11e312bb4954800bb347a2df03c1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/c750d274b12147a6aac03d0593263297.png
[94e5335472e14447840d315aaea81fd0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/33a1f3e7a33d4606a3e36058be1d2174.png
[eb3ee454c2b74a8c96511b9dcd4f9980.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/6cbcf2da8c41434da2eb40ed5feb5953.png
[72398a69d03a4f8daa83217cabde2e6e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/b573e3a81d7a43c0a8be6b9f38867080.png
[9522b2568f5d4f2fa7f4571cae1be8a0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/c024ca0f44684566ae653f9f34566529.png
[f5bdd80b2db64ae3be72fa528c68bceb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/a45f5c2e303c4d45968d8d543d5aacb7.png
[57534f5096dc42f0be96f16d70eb03c1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/c0db551fd7a043ea967df0dafb935bb7.png