kubernetes1.5新特性：新版本kubeadm

- 日理万妓 2022-06-17 11:58 218阅读 0赞

目录[(?)][Link 1][\[+\]][Link 1]

# 一、概述 #

下面介绍的内容会展示如何在Ubuntu 16.04、CentOS7和HypriotOS v1.0.1+[操作系统][Link 2]上部署一套安全的Kubernetes集群。下面介绍的安装方式是通过kubeadmin工具来完成的，这个工具在Kubernetes1.4的时候就已经被增加到Kubernetes发布包中了。在Kubernetes1.5中，kubeadmin增强了用户交互，并且修复了一些bug。

可以在本地虚拟机、物理机或者其他云服务提供商的IaaS资源上来使用kubeadmin安装Kubernetes。也可以很容易将kubeadmin集成到Terraform、 Chef、Puppet等自动化工具中。对于kubeadmin所有命令行信息介绍，可以参考[http://kubernetes.io/docs/admin/kubeadm/][http_kubernetes.io_docs_admin_kubeadm]。

在Kubernetes1.5中，Kubeadmin工具还是阿尔法版本，也就是说大家可以在研发[测试][Link 3]环境中使用，特别需要注意的地方是kubeadmin还不能全面支持自动配置云服务提供商IaaS资源。如果在云服务提供商IaaS资源上部署，那么需要参考云服务提供商的技术文档。

Kubeadm被设计成针对大规模集群部署环境中使用的，当然也可以很容易的手动安装。如果在你自己IaaS基础[架构][Link 4]上或者已经存在的自动化系统上部署Kubernetes，kubeadm是一个很好的选择。

# 二、部署前提条件 #

1.  有多台虚拟机或者物理机，上面操作系统是Ubuntu 16.04+、CentOS 7或者HypriotOS v1.0.1+。
2.  每台主机上面至少1G内存。
3.  所有主机之间网络可达。

# 三、部署目的 #

1.  在指定的主机上安装一套安全的Kubernetes集群。
2.  在集群上安装一个POD网络，用来允许POD之间相互通讯。
3.  在Kubernetes集群上部署一个微服务应用样例。

# 四、部署步骤 #

## **4.1、在主机上安装kubelet和kubeadm** ##

在主机上安装下面软件包:

*  docker:建议安装v1.11.2版本版本，v1.10.3版本和v1.12.1版本也可以。
 *  kubelet：安装v1.5版本
 *  kubectl: 安装v1.5版本
 *  kubeadm: 安装v1.5版本

需要注意的是，如果主机上已经安装了kubeadm，那么需要更新成Kubernetes对应的v1.5版本。

按照下面顺序来配置主机:

*  SSH登录到主机上，并且切换成root用户。
 *  如果主机是Ubuntu或者HypriotOS,那么运行命令:

**\[javascript\]**  [view plain][Link 1]   [copy][Link 1]

[print][Link 1] [?][Link 1]

1.  curl -shttps://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -  
2.  cat <<EOF >/etc/apt/sources.list.d/kubernetes.list  
3.  deb http://apt.kubernetes.io/ kubernetes-xenial main  
4.  EOF  
5.  apt-get update  
6.  apt-get install -y docker.io  
7.  apt-get install -y kubelet kubeadm kubectl kubernetes-cni

如果主机是CentOS操作系统，那么运行命令:

**\[javascript\]**  [view plain][Link 1]   [copy][Link 1]

[print][Link 1] [?][Link 1]

1.  cat <<EOF > /etc/yum.repos.d/kubernetes.repo  
2.  \[kubernetes\]  
3.  name=Kubernetes  
4.  baseurl=http://yum.kubernetes.io/repos/kubernetes-el7-x86\_64  
5.  enabled=1  
6.  gpgcheck=1  
7.  repo\_gpgcheck=1  
8.  gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg  
9.        https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg  
10. EOF  
11. setenforce 0  
12. yum install -y docker kubelet kubeadm kubectlkubernetes-cni  
13. systemctl enable docker && systemctl start docker  
14. systemctl enable kubelet && systemctl startkubelet

执行完上述命令后，kubelet会进入重启循环模式，每隔几秒钟就会重启，kubelte这时候再等待执行kubeadm发出的命令。

需要注意的是，需要禁用SELinux，比如通过setenforce0命令。禁用的目的是让容器可以读取主机文件系统，以便了解如何配置POD网络。

## **4.2、初始化Kubernetes的master节点** ##

Kubernetes的master节点上运行着etcd和api server等组件，所有这些组件都需要通过kubelet启动。

在卸载kubernetes前，不要运行两次kubeadm init命令。

如果已经运行了kubeadm init命令，导致主机状态同kuberentes集群状态不兼容，这时候kubeadm会发送告警信息，提示目前不能正常工作，因为不满足强制要求。

可以通过下面命令初始化master节点：

**\[javascript\]**  [view plain][Link 1]   [copy][Link 1]

[print][Link 1] [?][Link 1]

1.  \# kubeadm init

需要注意的是：这个操作会自动发现网卡设备，并且将master节点上网卡设备设置成默认网关。如果想使用另外的网卡设备，那么需要在执行kubeadminit命令时增加参数--api-advertise-addresses=<ip-address>

如果你想使用flannel搭建POD网络，需要增加参数--pod-network-cidr=10.244.0.0/16。如果不适用flannel，那么就不需要这么做了。

可以参考kubeadm指南[http://kubernetes.io/docs/admin/kubeadm/][http_kubernetes.io_docs_admin_kubeadm]，在这里面可以看到更详细的kubeadmin init参数。

执行完kubeadm init命令后将会花几分钟自动下载并且安装kubernetes集群控制组件。

下面是命令执行后的输出内容:

**\[javascript\]**  [view plain][Link 1]   [copy][Link 1]

[print][Link 1] [?][Link 1]

1.  \[kubeadm\] WARNING: kubeadm is **in** alpha, please **do** not useit **for** production clusters.  
2.    
3.  \[preflight\] Running pre-flight checks  
4.    
5.  \[init\] Using Kubernetes version: v1.5.1  
6.    
7.  \[tokens\] Generated token:"064158.548b9ddb1d3fad3e"  
8.    
9.  \[certificates\] Generated Certificate Authority key andcertificate.  
10.   
11. \[certificates\] Generated API Server key and certificate  
12.   
13. \[certificates\] Generated Service Account signing keys  
14.   
15. \[certificates\] Created keys and certificates **in**"/etc/kubernetes/pki"  
16.   
17. \[kubeconfig\] Wrote KubeConfig file to disk:"/etc/kubernetes/kubelet.conf"  
18.   
19. \[kubeconfig\] Wrote KubeConfig file to disk:"/etc/kubernetes/admin.conf"  
20.   
21. \[apiclient\] Created API client, waiting **for** the controlplane to become ready  
22.   
23. \[apiclient\] All control plane components are healthyafter 61.317580 seconds  
24.   
25. \[apiclient\] Waiting **for** at least one node to register andbecome ready  
26.   
27. \[apiclient\] First node is ready after 6.556101 seconds  
28.   
29. \[apiclient\] Creating a test deployment  
30.   
31. \[apiclient\] Test deployment succeeded  
32.   
33. \[token-discovery\] Created the kube-discovery deployment,waiting **for** it to become ready  
34.   
35. \[token-discovery\] kube-discovery is ready after 6.020980seconds  
36.   
37. \[addons\] Created essential addon: kube-proxy  
38.   
39. \[addons\] Created essential addon: kube-dns  
40.   
41.    
42.   
43. Your Kubernetes master has initialized successfully!  
44.   
45.    
46.   
47. You should now deploy a pod network to the cluster.  
48.   
49. Run "kubectl apply -f \[podnetwork\].yaml" withone of the options listed at:  
50.   
51.    http://kubernetes.io/docs/admin/addons/  
52.   
53.    
54.   
55. You can now join any number of machines by running thefollowing on each node:  
56.   
57.    
58.   
59. kubeadm join --token=<token> <master-ip>

在kubeadm join命令中，需要输入token参数，通过token参数可以确保将被授权的节点添加到kubernetes集群中，通过token参数来保证安全。

如果不在乎安全，比如安装一个单机的kubernetes开发环境，那么可以运行如下命令：

**\[javascript\]**  [view plain][Link 1]   [copy][Link 1]

[print][Link 1] [?][Link 1]

1.  \# kubectl taint nodes --all dedicated-  
2.    
3.  node "test-01" tainted  
4.    
5.  taint key="dedicated" and effect=""not found.  
6.    
7.  taint key="dedicated" and effect=""not found.

## **4.3、部署POD网络** ##

在部署应用和启动kube-dns之前，需要部署POD网络，需要注意的是kubeadm只是支持基于CNI的网络，因此基于kubenet的网络不会正常工作。

可以从下面网页了解kubernetes支持的网络插件，[http://kubernetes.io/docs/admin/addons/][http_kubernetes.io_docs_admin_addons]。

可以通过下面命令部署POD网络：

**\[javascript\]**  [view plain][Link 1]   [copy][Link 1]

[print][Link 1] [?][Link 1]

1.  \# kubectl apply -f <add-on.yaml>

对于不同的网络插件，需要参考指定的网络插件安装指南。需要注意的是每个kuberentes集群只能部署一种POD网络。一旦部署完，需要检查kube-dns POD是否运行，通过命令kubectl get pods --all-namespaces的输出来确认网络是否正常工作。

一旦kube-dns POD正常运行了，可以向kubernetes集群中添加工作节点。

## **4.4、向Kubernetes集群中添加工作节点** ##

为了将工作节点添加到kubernetes集群中，对每个工作节点主机，都需要SSH到这个主机上，并且切换到root用户，然后运行命令：

**\[javascript\]**  [view plain][Link 1]   [copy][Link 1]

[print][Link 1] [?][Link 1]

1.  \# kubeadm join --token <token> <master-ip>  
2.    
3.  \[kubeadm\] WARNING: kubeadm is **in** alpha, please **do** not useit **for** production clusters.  
4.    
5.  \[preflight\] Running pre-flight checks  
6.    
7.  \[preflight\] Starting the kubelet service  
8.    
9.  \[tokens\] Validating provided token  
10.   
11. \[discovery\] Created cluster info discovery client,requesting info from"http://192.168.x.y:9898/cluster-info/v1/?token-id=f11877"  
12.   
13. \[discovery\] Cluster info object received, verifyingsignature using given token  
14.   
15. \[discovery\] Cluster info signature and contents arevalid, will use API endpoints \[https://192.168.x.y:6443\]  
16.   
17. \[bootstrap\] Trying to connect to endpointhttps://192.168.x.y:6443  
18.   
19. \[bootstrap\] Detected server version: v1.5.1  
20.   
21. \[bootstrap\] Successfully established connection withendpoint "https://192.168.x.y:6443"  
22.   
23. \[csr\] Created API client to obtain unique certificate forthis node, generating keys and certificate signing request  
24.   
25. \[csr\] Received signed certificate from the API server:  
26.   
27. Issuer: CN=kubernetes | Subject: CN=system:node:yournode| CA: **false**  
28.   
29. Not before: 2016-12-15 19:44:00 +0000 UTC Not After:2017-12-15 19:44:00 +0000 UTC  
30.   
31. \[csr\] Generating kubelet configuration  
32.   
33. \[kubeconfig\] Wrote KubeConfig file to disk:"/etc/kubernetes/kubelet.conf"  
34.   
35.    
36.   
37. Node join complete:  
38.   
39. \* Certificate signing request sent to master and response  
40.   
41.   received.  
42.   
43. \* Kubelet informed of **new** secure connection details.  
44.   
45.    
46.   
47. Run 'kubectl get nodes' on the master to see **this** machinejoin.

添加完成后，在master节点上运行命令kubectl getnodes，会显示所有已经添加到集群中的节点主机。

## **（可选步骤）不在master节点上操作集群，而是在其他工作节点上操作集群** ##

需要将master节点上面的kubernetes配置文件拷贝到当前节点上，然后执行kubectl命令:

**\[javascript\]**  [view plain][Link 1]   [copy][Link 1]

[print][Link 1] [?][Link 1]

1.  \# scp root@<master ip>:/etc/kubernetes/admin.conf .  
2.   
3.  \# kubectl --kubeconfig ./admin.conf get nodes

## **（可选步骤）连接到API Serer组件上** ##

如果已经部署了dashboard，那么可以从集群外部连接到APIServer组件上，然后查看dashboard:

**\[javascript\]**  [view plain][Link 1]   [copy][Link 1]

[print][Link 1] [?][Link 1]

1.  \# scp root@<master ip>:/etc/kubernetes/admin.conf .  
2.   
3.  \# kubectl --kubeconfig ./admin.conf proxy

可以在本地访问API Server

**\[javascript\]**  [view plain][Link 1]   [copy][Link 1]

[print][Link 1] [?][Link 1]

1.  http://localhost:8001/api/v1

**（可选步骤）部署样例应用**

上面已经部署完成了一套kubernetes环境，下面部署一个电商[微服务][Link 5]应用。

**\[javascript\]**  [view plain][Link 1]   [copy][Link 1]

[print][Link 1] [?][Link 1]

1.  \# kubectl create namespace sock-shop  
2.   
3.  \# kubectl apply -n sock-shop -f "https://github.com/microservices-demo/microservices-demo/blob/master/deploy/kubernetes/complete-demo.yaml?raw=true"

然后查看分配给样例应用的服务信息:

**\[javascript\]**  [view plain][Link 1]   [copy][Link 1]

[print][Link 1] [?][Link 1]

1.  \# kubectl describe svc front-end -n sock-shop  
2.    
3.  Name:                  front-end  
4.    
5.  Namespace:             sock-shop  
6.    
7.  Labels:                name=front-end  
8.    
9.  Selector:              name=front-end  
10.   
11. Type:                  NodePort  
12.   
13. IP:                    100.66.88.176  
14.   
15. Port:                  <unset> 80/TCP  
16.   
17. NodePort:              <unset> 31869/TCP  
18.   
19. Endpoints:             <none>  
20.   
21. Session Affinity:      None

经过几分钟，会下载h额启动样例应用所需容器，然后就可以通过命令kubectlget pods -n sock-shop的输出查看样例应用POD详细信息

进入到Kubernetes集群的master节点上，通过浏览器访问http://<master\_ip>:<port>。在上面这个例子中，端口是31869，这个端口可以通过命令kubectl describe查询出来。

如果有防火墙，那么确保这个端口可以被访问到。

# 五、卸载 #

通过在master节点上运行命令kubectl delete namespace sock-shop 来卸载这个样例应用。  
可以通过下面命令重置kubeadm工具:

**\[javascript\]**  [view plain][Link 1]   [copy][Link 1]

[print][Link 1] [?][Link 1]

1.  \# kubeadm reset

如果想重新开始，那么依次运行命令systemctl start kubelet、kubeadm init和kubeadm join。

[Link 1]: http://blog.csdn.net/horsefoot/article/details/54018103#
[Link 2]: http://lib.csdn.net/base/operatingsystem
[http_kubernetes.io_docs_admin_kubeadm]: http://kubernetes.io/docs/admin/kubeadm/
[Link 3]: http://lib.csdn.net/base/softwaretest
[Link 4]: http://lib.csdn.net/base/architecture
[http_kubernetes.io_docs_admin_addons]: http://kubernetes.io/docs/admin/addons/
[Link 5]: http://lib.csdn.net/base/microservice