Kubernetes入门到实践 (一) Kubernetes介绍与 yum安装Kubernetes集群

客官°小女子只卖身不卖艺 2023-07-01 12:57 23阅读 0赞

### 文章目录 ###

*   *  一、Kubernetes 介绍
     *  二、Kubernetes 核心功能介绍
     *  三、Kubernetes 节点组件介绍
     *  四、Kubernetes集群的安装与配置
     *   *  1、Kubernetes集群的五种安装方式对比
         *  2、安装前的环境准备
         *  3、yum方式安装 Kubernetes集群
         *   *  3.1、节点安装的相关组件
             *  3.2、Master节点的安装
             *   *  3.2.1、etcd组件的安装与配置
                 *  3.2.2、kubernetes-master组件的安装与配置
                 *  3.2.3、flannel组件的安装与配置
                 *  3.2.4、查看组件的健康状态
                 *  3.2.5、配置kubectl命令自动补全功能
                 *  3.2.6、安装docker 和 镜像仓库
                 *  3.2.7、上传pod-infrastructure镜像至Registry镜像仓库
             *  3.3、Node节点的安装
             *   *  3.3.1、kubernetes-node组件的安装与配置
                 *  3.3.2、flannel组件的安装与配置
                 *  3.3.3、配置阿里云镜像加速器 和 添加镜像仓库地址
                 *  3.3.4、重新加载daemon.json配置文件 并 重启docker服务
                 *  3.3.5、在Master节点上查看Node节点的状态
             *  3.4、测试所有Node节点是否能够跨主机通信
             *   *  3.4.1、修改所有Node节点上的iptables规则
                 *  3.4.2、所有Node节点运行busybox镜像，查看其IP地址
                 *  3.4.3、Master节点运行busybox镜像，并测试所有Node节点能否跨主机通信

--------------------

## 一、Kubernetes 介绍 ##

**Kubernetes是Google于2014年开源的一个容器编排工具，使用go语言编写的，是由Google内部已经运行近十年的容器编排工具(Borg系统)衍生而来的。由于docker的横空出世，导致Google原本准备作为秘密武器的容器技术胎死腹中。计划被打乱，容器层面已经痛失良机，慢人一步，只有在编排工具层面下手了，Google当机立断，基于Brog系统的逻辑编写出了Kubernetes，开源并捐给了CNCF（开源社区云原生计算基金会），由于Google近十年的使用经验，所以Kubernetes一出世就横扫了其它编排工具，时至今日，地位依然稳固。**

**Kubernetes 源于希腊语，意为 “舵手” 或 “飞行员”， 且是英文governor和 cybernetic的词根，简称K8s，是用8代替8个字符“ubernete”而形成的缩写。Google采用这个名字的深意就是：既然你docker把自己定位成驮着集装箱在大海上遨游的鲸鱼，那么我就以Kubernetes掌舵大航海时代的话语权，鲸鱼必须按照我设定的路线巡游。**

**Kubernetes的一大亮点就是自动化，在Kubernetes的解决方案中，一个服务可以自我扩展、自我诊断，并且容易升级，在收到服务扩容的请求后，Kubernetes会触发调度流程，最终在选定的目标节点上启动相应数量的服务实例副本，这些实例在启动成功后会自动加入负载均衡器中并生效，Kubernetes会定时巡查每个服务的所有实例的可用性，确保服务实例的数量与预期的数量一致，当它发现某个实例不可用时，会自动重启或在其它节点上重建该实例，整个过程无需额外的人工操作。**  
![20200122114639175.jpg_pic_center][]

## 二、Kubernetes 核心功能介绍 ##

*  **`自愈`: 重新启动失败的容器，在当前节点不可用时，会替换和重新调度其他节点上的容器，同时会对容器进行健康检查，不响应的容器会被中止，并且在容器尚未准备好服务之前不会向客户端广播**
 *  **`弹性伸缩`: 通过监控容器的cpu的负载值，实现容器的弹性伸缩，如果这个平均高于设定值，则增加容器的数量，如果这个平均低于设定值，则减少容器的数量**
 *  **`滚动升级和一键回滚`: Kubernetes 会对应用程序或其配置的更改进行逐渐部署，同时监视应用程序的运行状况，以确保它不会同时终止所有实例。 如果出现问题，可以使用Kubernetes的一键回滚功能，恢复到原先的运行状态**
 *  **`服务的自动发现和负载均衡`: 不需要修改您的应用程序，Kubernetes会自行根据标识去发现服务。同时，Kubernetes 为容器提供了自己的 IP 地址和一组容器的单个 DNS 名称，并可以在它们之间进行负载均衡**

## 三、Kubernetes 节点组件介绍 ##

**Kubernetes 是经典的一对多模型，有一个主要的管理节点Master 和 许多的工作节点Node。当然，Kubernetes 也可以配置多个管理节点，拥有两个以上的管理节点Master被称为高可用。接下来就分别对管理节点Master 和 工作节点Node上的组件进行介绍。**

**Master组件可以在集群中任何节点上运行。但是为了简单起见，通常在一台虚拟机上启动所有的Master组件，并且不会在此虚拟机器上运行用户容器。同时，集群中的所有控制命令都是传递给Master组件，在Master管理节点上运行，所以kubectl命令在其他Node工作节点上是无法执行的，其Master组件如下所示：**  
![20200122134159591.png][]

*  **`api server`: 负责对外提供Restful的Kubernetes API服务，其他Master组件都通过调用api server提供的Restful接口实现各自的功能，如controller manager就是通过api server来实时监控各个资源的状态的**
 *  **`etcd`: 是 Kubernetes 提供的一个高可用的键值数据库，用于保存集群所有的网络配置和资源对象的状态信息，也就是保存了整个集群的状态信息。数据的变更都是通过api server进行的。整个kubernetes系统中一共有两个服务需要用到etcd用来协同和存储配置，分别是：**

**1. 网络插件flannel，其它网络插件也需要用到etcd存储网络的配置信息**

**2. kubernetes本身，包括各种资源对象的状态和元信息配置**

*  **`scheduler`: 监听新建pod副本信息，并通过调度算法为该pod选择一个最合适的Node节点。会检索到所有符合该pod要求的Node节点，执行pod调度逻辑。调度成功之后，会将pod信息绑定到目标节点上，同时将信息写入到etcd中。一旦绑定，就由Node节点上的kubelet接手pod的接下来的生命周期管理。如果把scheduler看成一个黑匣子，那么它的输入是pod和由多个Node节点组成的列表，输出是pod和一个Node节点的绑定，即将这个pod部署到这个Node节点上。Kubernetes目前提供了调度算法，但是同样也保留了接口，用户可以根据自己的需求定义自己的调度算法**
 *  **`controller manager`: 负责维护集群的状态，比如故障检测、自动扩展、滚动更新等。每个资源一般都对应有一个控制器，这些controller通过api server实时监控各个资源的状态，controller manager就是负责管理这些控制器的。当有资源因为故障导致状态变化，controller就会尝试将系统由“现有状态”恢复到“期待状态”，保证其下每一个controller所对应的资源始终处于期望状态。比如我们通过api server创建一个pod，当这个pod创建成功后，api server的任务就算完成了。而后面保证pod的状态始终和我们预期的一样的重任就由controller manager去保证了**

**Node工作节点运行着Master管理节点分配的pod，当一个Node工作节点宕机时，其上的pod会被自动转移到其他Node工作节点上，每一个Node工作节点都安装了Node组件，其Node组件如下所示：**  
![20200122134225867.png][]

*  **`kubelet`: 会监视已分配给Node节点的pod，负责pod的创建、启动、监控、重启和销毁等工作，同时与Master节点密切协作，维护和管理该Node节点上面的所有容器，实现集群管理的基本功能。kubelet会把自己注册到Master节点上，当Node节点纳入集群管理的范围后，kubelet进程就会定时向Master节点上报自身的资源情况。Master节点就掌握着每个Node节点的资源情况，就可以实施高效的资源调度策略。当某个Node节点超过指定时间未上报信息时，Master节点会将该Node节点标记为Not Ready，同时会进行工作负载转移。即Node工作节点通过kubelet与master组件交互，可以理解为kubelet是Master节点在每个Node工作节点上面的代理人(agent)。本质上，它负责使pod的运行状态与期望的状态保持一致**
 *  **`kube-proxy`: 是实现Kubernetes Service的通信以及负载均衡的重要组件，将到service的请求转发到后端的pod上**
 *  **`Container runtime`: 容器运行环境，负责节点容器的创建与管理工作，目前Kubernetes支持docker和rkt两种容器**

**公共组件：**

*  **`flannel`: flannel是一个专门为kubernetes定制的网络解决方案，主要解决pod跨主机通信问题**

## 四、Kubernetes集群的安装与配置 ##

### 1、Kubernetes集群的五种安装方式对比 ###

<table> 
 <thead> 
  <tr> 
   <th>安装方式</th> 
   <th>介绍</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>源码编译安装</td> 
   <td>大神级别安装，需要安装golang编译环境，同时对golang版本还有要求，可以安装最新版本</td> 
  </tr> 
  <tr> 
   <td>二进制安装</td> 
   <td>二进制安装又分为 全程手动安装 和 自动安装，自动安装分为 shell、ansible 和 saltstack版，可以安装最新版本，网上安装文档比较多</td> 
  </tr> 
  <tr> 
   <td>kubeadm安装</td> 
   <td>全自动化官方安装工具，安装比较简单，但是对网络有要求，可以安装最新版本</td> 
  </tr> 
  <tr> 
   <td>minkube安装</td> 
   <td>并不适合在生产环境下使用，适合开发者学习使用，可以安装最新版本</td> 
  </tr> 
  <tr> 
   <td>yum安装</td> 
   <td>安装简单，唯一不足的是Kubernetes的版本固定为1.5.2，不能安装最新版本</td> 
  </tr> 
 </tbody> 
</table>

### 2、安装前的环境准备 ###

**1、需要准备三台Linux虚拟机，其配置如下所示：**

<table> 
 <thead> 
  <tr> 
   <th>主机名称</th> 
   <th>节点名称</th> 
   <th>IP地址</th> 
   <th>cpu (处理器数量)</th> 
   <th>内存</th> 
   <th>系统及内核</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>k8s-master</td> 
   <td>master</td> 
   <td>192.168.198.145</td> 
   <td>1</td> 
   <td>1G</td> 
   <td>CentOS7.x，内核版本至少为3.10及以上</td> 
  </tr> 
  <tr> 
   <td>k8s-node1</td> 
   <td>node1</td> 
   <td>192.168.198.146</td> 
   <td>1</td> 
   <td>1G</td> 
   <td>CentOS7.x，内核版本至少为3.10及以上</td> 
  </tr> 
  <tr> 
   <td>k8s-node2</td> 
   <td>node2</td> 
   <td>192.168.198.147</td> 
   <td>1</td> 
   <td>1G</td> 
   <td>CentOS7.x，内核版本至少为3.10及以上</td> 
  </tr> 
 </tbody> 
</table>

**2、关闭三个节点(Linux虚拟机) 的firewalld防火墙和SELinux**

**firewalld会影响Docker的网络功能，SELinux是2.6+版本的Linux内核中提供的强制访问控制系统，在很大程度上加强了Linux的安全性，但是它会影响Kubernetes的某些组件功能，所以我们需要在安装部署前将其禁用掉**

//1、关闭Firewalld防火墙
    systemctl stop firewalld.service  // 停止firewalld服务
    systemctl disable firewalld.service  // 禁止firewalld开机启动
    
    //2、关闭SELinux
    vim /etc/sysconfig/selinux       //编辑selinux文件
    SELINUX=disabled         //把文件中的SELINUX=enforcing 改成 SELINUX=disabled 即可
    
    //3、重启linux
    reboot

**3、修改三个节点(Linux虚拟机) 的主机名称**

//1、查看当前主机的主机名称
    hostname
    
    //2、修改当前主机的主机名称
    hostnamectl set-hostname 主机名称

**这里以修改master节点的主机名为例 (node1 和 node2节点与修改master节点的主机名类似，只不过需要把k8s-master 替换为k8s-node1 和 k8s-node2即可)**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70][]

**4、配置三个节点(Linux虚拟机) 的ip地址 与 主机名的映射关系**

//1、编辑hosts文件
    vim /etc/hosts
    
    //2、配置映射关系
    192.168.198.145 k8s-master
    192.168.198.146 k8s-node1
    192.168.198.147 k8s-node2

**这里以配置master节点的ip地址 与 主机名的映射关系为例 (node1 和 node2节点与配置master节点的ip地址 与 主机名的映射关系相同)**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 1][]

**5、同步三个节点(Linux虚拟机) 的系统时间 (多个节点之间强烈建议同步时间)**

//1、安装ntpdate
    yum install -y ntpdate
    
    //2、同步系统时间，ntp1.aliyun.com为阿里的时间(NTP)服务器
    ntpdate ntp1.aliyun.com
    
    //3、创建定时任务来自动同步阿里的时间(NTP)服务器
    crontab -e
    
    //4、设置每30分钟同步一次时间
    0 */30 * * * ? /usr/sbin/ntpdate ntp1.aliyun.com

![20200123140433225.png][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 2][]

**设置每30分钟同步一次时间**  
![20200204195739365.png][]

**6、更新三个节点(Linux虚拟机) 的yum库**

yum -y upgrade //只升级所有包,不升级软件和系统内核
    
    注意：请不要使用yum -y update命令进行更新，该方式不仅会升级所有包，也会升级软件和系统内核，容易导致系统奔溃，同时在生产环境对软件版本和内核版本要求非常精确，所以该方式升级请慎重考虑

![20200123145037672.png][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 3][]

### 3、yum方式安装 Kubernetes集群 ###

#### 3.1、节点安装的相关组件 ####

<table> 
 <thead> 
  <tr> 
   <th>节点名称</th> 
   <th>相关组件</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>master</td> 
   <td>etcd、api server、scheduler、controller-manager、flannel 和 docker</td> 
  </tr> 
  <tr> 
   <td>node1</td> 
   <td>docker、kubelet、proxy 和 flannel</td> 
  </tr> 
  <tr> 
   <td>node2</td> 
   <td>docker、kubelet、proxy 和 flannel</td> 
  </tr> 
 </tbody> 
</table>

#### 3.2、Master节点的安装 ####

##### 3.2.1、etcd组件的安装与配置 #####

**1、安装etcd组件**

yum install -y etcd

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 4][]

**2、编辑etcd.conf配置文件**

//1、编辑etcd.conf配置文件
    vim /etc/etcd/etcd.conf
    
    //2、修改etcd对外提供服务的的ip地址
    ETCD_LISTEN_CLIENT_URLS="http://localhost:2379"
    修改为
    ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
    
    //3、修改etcd对外公告该节点客户端的监听地址
    ETCD_ADVERTISE_CLIENT_URLS="http://localhost:2379"
    修改为
    ETCD_ADVERTISE_CLIENT_URLS="http://master节点的ip地址:2379"

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 5][]

**3、启动etcd服务，并加入到开机启动**

//1、启动etcd服务
    systemctl start etcd
    
    //2、设置etcd服务开机启动
    systemctl enable etcd

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 6][]

##### 3.2.2、kubernetes-master组件的安装与配置 #####

**1、安装kubernetes-master组件 (其组件包含apiserver、config、controller-manager 和 scheduler)**

yum install -y kubernetes-master

![20200123155148124.png][]

**可以看到在安装kubernetes-master组件的同时，会将依赖的kubernetes-client组件一同安装**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 7][]

**2、编辑apiserver配置文件**

//1、编辑apiserver配置文件
    vim /etc/kubernetes/apiserver
    
    //2、修改api server的监听地址
    KUBE_API_ADDRESS="--insecure-bind-address=127.0.0.1"
    修改为
    KUBE_API_ADDRESS="--insecure-bind-address=0.0.0.0"
    
    //3、去掉前面的注释
    KUBE_API_PORT="--port=8080"  //api server监听的端口
    KUBELET_PORT="--kubelet-port=10250"  //kubelet监听的服务端口
    
    //4、修改etcd的服务地址，如果有多个，请以逗号隔开
    KUBE_ETCD_SERVERS="--etcd-servers=http://127.0.0.1:2379"
    修改为
    KUBE_ETCD_SERVERS="--etcd-servers=http://master节点的ip地址:2379"
    
    //5、去掉认证参数ServiceAccount
    KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota"
    修改为
    KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota"

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 8][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 9][]

**3、编辑config配置文件**

//1、编辑config配置文件
    vim /etc/kubernetes/config
    
    //2、修改kubernetes master统一的管理入口ip地址
    KUBE_MASTER="--master=http://127.0.0.1:8080"
    修改为
    KUBE_MASTER="--master=http://master节点的ip地址:8080"

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 10][]

**4、启动apiserver、controller-manager 和 scheduler服务，并加入到开机启动**

//1、启动apiserver服务，并设置开机启动
    systemctl start kube-apiserver
    systemctl enable kube-apiserver
    
    //2、启动controller-manager服务，并设置开机启动
    systemctl start kube-controller-manager
    systemctl enable kube-controller-manager
    
    //3、启动scheduler服务，并设置开机启动
    systemctl start kube-scheduler
    systemctl enable kube-scheduler

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 11][]

##### 3.2.3、flannel组件的安装与配置 #####

**1、安装flannel组件**

yum install -y flannel

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 12][]

**2、编辑flanneld配置文件**

//1、编辑flanneld配置文件
    vim /etc/sysconfig/flanneld
    
    //2、修改flanneld服务读取etcd数据库的ip地址
    FLANNEL_ETCD_ENDPOINTS="http://127.0.0.1:2379"
    修改为
    FLANNEL_ETCD_ENDPOINTS="http://master节点的ip地址:2379"

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 13][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 14][]

**3、分配docker网段**

**在etcd中添加一个名称为 /automic.io/network/config 的主键，通过该主键设置提供给docker容器使用的网段**

etcdctl mk /atomic.io/network/config '{"Network":"172.17.0.0/16"}'

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 15][]

**4、启动flanneld服务，并加入到开机启动**

//1、启动flanneld服务
    systemctl start flanneld
    
    //2、设置开机启动
    systemctl enable flanneld

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 16][]

##### 3.2.4、查看组件的健康状态 #####

kubectl get componentstatus
    
    //查看flanneld启动服务的进程
    ps -ef|grep flanneld

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 17][]

##### 3.2.5、配置kubectl命令自动补全功能 #####

//1、安装epel-release 和 bash-completion
    yum install -y epel-release bash-completion
    
    //2、配置kubectl命令自动补全
    source /usr/share/bash-completion/bash_completion
    source <(kubectl completion bash)
    echo "source <(kubectl completion bash)" >> ~/.bashrc
    
    //3、测试配置是否成功
    kubectl tab键

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 18][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 19][]

##### 3.2.6、安装docker 和 镜像仓库 #####

**由于HarBor镜像仓库需要更多的资源，所以这里我选择是Registry镜像仓库**

**docker安装：[https://blog.csdn.net/qq\_39135287/article/details/101012149][https_blog.csdn.net_qq_39135287_article_details_101012149]**

**registry镜像仓库的搭建：[https://blog.csdn.net/qq\_39135287/article/details/103307664][https_blog.csdn.net_qq_39135287_article_details_103307664]**

**如果Master节点服务器配置比较高 或者 电脑配置比较高可以虚拟出多台虚拟机的话，可以尝试搭建 企业级容器镜像仓库HarBor：[https://blog.csdn.net/qq\_39135287/article/details/104041772][https_blog.csdn.net_qq_39135287_article_details_104041772]**

**提示：安装好镜像仓库后，不要忘了在`所有节点(包括master节点)` 的`daemon.json配置文件`中，添加`镜像仓库的地址`，让docker信任私有仓库地址**

##### 3.2.7、上传pod-infrastructure镜像至Registry镜像仓库 #####

**由于接下来在安装Node节点时，kubelet配置文件中的pod-infrastructure镜像 默认是从红帽的registry.access.redhat.com/rhel7镜像仓库进行下载的，速度特别慢，所以我提前准备了其pod-infrastructure镜像，将其上传至Registry镜像仓库，在安装Node节点时，修改其下载的镜像仓库地址**

**pod-infrastructure镜像下载：[https://pan.baidu.com/s/1GWxdGtl3oN4LnisHeOs6HQ][https_pan.baidu.com_s_1GWxdGtl3oN4LnisHeOs6HQ] 提取码：8xko**

**1、将下载好的 pod-infrastructure.tar 上传至Linux服务器，并导入pod-infrastructure镜像**

docker load -i $(pwd)/pod-infrastructure.tar
    
    注释：$(pwd)是docker支持的获取当前目录路径的方法，与linux的pwd类似

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 20]

**2、将下载好的 pod-infrastructure.tar 上传至Linux服务器，并导入pod-infrastructure镜像**

//1、推送镜像至Registry镜像仓库
    docker tag registry.access.redhat.com/rhel7/pod-infrastructure:latest registry镜像仓库地址:5000/rhel7/pod-infrastructure:latest
    
    docker push registry镜像仓库地址:5000/rhel7/pod-infrastructure

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 21][]

#### 3.3、Node节点的安装 ####

##### 3.3.1、kubernetes-node组件的安装与配置 #####

**1、安装kubernetes-node组件 (其组件包含config、kubelet 和 proxy )**

yum install -y kubernetes-node

![20200123172816600.png][]

**提示：如果在使用yum安装kubernetes-node组件之前，没有安装过docker，将不会出现如下安装失败现象**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 22][]

**可以看到最后四行显示如下所示：**

> Error: docker-ce-cli conflicts with 2:docker-1.13.1-103.git7f2769b.el7.centos.x86\_64  
> Error: docker-ce conflicts with 2:docker-1.13.1-103.git7f2769b.el7.centos.x86\_64  
>  You could try using --skip-broken to work around the problem  
>  You could try running: rpm -Va --nofiles --nodigest

**提示我们kubernetes-node组件安装失败，原因：在我们使用yum安装kubernetes-node组件时会自动安装docker，而在安装之前虚拟机上已经安装过docker了，所以导致安装kubernetes-node组件失败，按照提示执行`rpm -Va --nofiles --nodigest`命令，还是解决不了问题，接下来就来记录一下解决的方法：**

**(1) 查询已经安装过的docker安装包**

yum list installed | grep docker

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 23][]

**(2) 删除已经安装过的docker安装包**

//1、删除docker-ce-cli.x86_64 (同时还会删除docker-ce.x86_64)
    yum remove -y docker-ce-cli.x86_64
    
    //2、删除containerd.io.x86_64
    yum remove -y containerd.io.x86_64

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 24][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 25][]

**(3) 删除已经安装过的docker安装包**

//1、删除镜像
    rm -rf /var/lib/docker
    
    //2、删除容器
    rm -rf /var/run/docker
    
    //3、删除daemon.json配置文件
    rm -rf /etc/docker/daemon.json

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 26][]

**(4) 再次安装kubernetes-node组件**

yum install -y kubernetes-node

**可以看到在安装kubernetes-node组件的同时，会将依赖的dcoker和其它组件一同安装**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 27][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 28][]

**2、编辑kubelet配置文件**

//1、编辑kubelet配置文件
    vim /etc/kubernetes/kubelet
    
    //2、修改kubelet的监听地址
    KUBELET_ADDRESS="--address=127.0.0.1"
    修改为
    KUBELET_ADDRESS="--address=0.0.0.0"
    
    //3、去掉前面的注释
    KUBELET_PORT="--port=10250"  //kubelet监听的服务端口
    
    //4、修改主机名
    KUBELET_HOSTNAME="--hostname-override=127.0.0.1"
    修改为
    KUBELET_HOSTNAME="--hostname-override=node节点的ip地址"
    
    //5、指定api server的ip地址
    KUBELET_API_SERVER="--api-servers=http://127.0.0.1:8080"
    修改为
    KUBELET_API_SERVER="--api-servers=http://master节点的ip地址:8080"
    
    //6、修改pod infrastructure container的镜像下载地址
    KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.access.redhat.com/rhel7/pod-infrastructure:latest"
    修改为
    KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=192.168.198.145:5000/rhel7/pod-infrastructure:latest"
    
    //7、设置service-node-port的端口范围(默认范围是：30000-32767)
    KUBELET_ARGS=""
    修改为
    KUBELET_ARGS="--service-node-port-range=30000-50000"

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 29][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 30][]

**3、编辑config配置文件**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 31][]

**4、启动kubelet 和 kube-proxy服务，并加入到开机启动**

//1、启动kubelet服务，并设置开机启动
    systemctl start kubelet
    systemctl enable kubelet
    
    //2、启动kube-proxy服务，并设置开机启动
    systemctl start kube-proxy
    systemctl enable kube-proxy

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 32][]

##### 3.3.2、flannel组件的安装与配置 #####

**1、安装flannel组件**

yum install -y flannel

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 33][]

**2、编辑flanneld配置文件**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 34][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 14][]

**4、启动flanneld服务，并加入到开机启动**

//1、启动flanneld服务
    systemctl start flanneld
    
    //2、设置开机启动
    systemctl enable flanneld

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 35][]

##### 3.3.3、配置阿里云镜像加速器 和 添加镜像仓库地址 #####

//1、进入到docker目录下
    cd /etc/docker/
    
    //2、编辑daemon.json配置文件
    vim daemon.json
    
    //3、配置阿里云镜像加速器 和 添加镜像仓库地址
    { 
      "registry-mirrors": ["你的阿里云镜像加速器地址"],
      "insecure-registries": ["master节点的ip地址:镜像仓库端口"]
    }

**[获取阿里云镜像加速地址][Link 1]，`注意`："registry-mirrors"一行末尾有`逗号,`**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 36][]

##### 3.3.4、重新加载daemon.json配置文件 并 重启docker服务 #####

//重新加载daemon.json配置文件
    systemctl daemon-reload
    
    //重启服务器
    systemctl restart docker

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 37][]

##### 3.3.5、在Master节点上查看Node节点的状态 #####

kubectl get nodes

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 38][]

#### 3.4、测试所有Node节点是否能够跨主机通信 ####

##### 3.4.1、修改所有Node节点上的iptables规则 #####

/** * 1、测试之前需要修改 所有Node节点上的 iptables规则，将FORWARD规则(默认为DROP) 改为 ACCEPT，否则Node节点之间将无法进行通信 * 2、修改的iptables规则 再重启Node节点之后将会失效，所以每次重启Node节点都需要重新设置一遍 FORWARD规则 **/
    iptables -L -n //查看iptables规则
    iptables -P FORWARD ACCEPT  //修改FORWARD规则为 ACCEPT

**`注意`：修改的iptables规则 再重启Node节点之后将会失效，所以每次重启Node节点都需要重新设置一遍 FORWARD规则**

**以Node1节点为例，修改iptables规则，将FORWARD规则(默认为DROP) 改为 ACCEPT**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 39][]

##### 3.4.2、所有Node节点运行busybox镜像，查看其IP地址 #####

//1、拉取busybox镜像
    docker pull busybox
    
    //2、运行busybox镜像 并进入到容器内部
    docker run -it busybox
    
    //3、查看其IP地址
    ifconfig

**Node1节点的IP地址信息**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 40][]

**Node2节点的IP地址信息**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 41][]

##### 3.4.3、Master节点运行busybox镜像，并测试所有Node节点能否跨主机通信 #####

**1、Master节点运行busybox镜像**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 42][]

**2、执行ping命令，测试Node1节点能否跨主机通信**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 43][]  
**当看到如下信息时，则表示Node1节点能够跨主机通信**

--- 172.17.81.2 ping statistics ---
    3 packets transmitted, 3 packets received, 0% packet loss
    round-trip min/avg/max = 0.645/2.744/6.515 ms

**3、执行ping命令，测试Node2节点能否跨主机通信**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 44][]  
**当看到如下信息时，则表示Node2节点能够跨主机通信**

--- 172.17.13.2 ping statistics ---
    3 packets transmitted, 3 packets received, 0% packet loss
    round-trip min/avg/max = 0.501/0.648/0.900 ms

**Kubernetes入门到实践系列文章列表：**

> [Kubernetes入门到实践 (一) Kubernetes介绍 与 yum安装Kubernetes集群][Kubernetes_ _ Kubernetes_ _ yum_Kubernetes]  
> [Kubernetes入门到实践 (二) Kubeadm安装Kubernetes集群][Kubernetes_ _ Kubeadm_Kubernetes]

`如果有遇到不懂或者有问题时，可以扫描下方二维码，欢迎进群交流与分享，希望能够跟大家交流学习！`

![20181122152708358.png_pic_center][]

[20200122114639175.jpg_pic_center]: https://img-blog.csdnimg.cn/20200122114639175.jpg?pic_center
[20200122134159591.png]: https://img-blog.csdnimg.cn/20200122134159591.png
[20200122134225867.png]: https://img-blog.csdnimg.cn/20200122134225867.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200123112830520.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2020012311402380.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[20200123140433225.png]: https://img-blog.csdnimg.cn/20200123140433225.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200123141920113.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[20200204195739365.png]: https://img-blog.csdnimg.cn/20200204195739365.png
[20200123145037672.png]: https://img-blog.csdnimg.cn/20200123145037672.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200124184428996.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200123151733330.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200123153633582.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/2020012315451343.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[20200123155148124.png]: https://img-blog.csdnimg.cn/20200123155148124.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200123155158316.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20200123160019778.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20200123162537705.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20200123163755530.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/2020012316504116.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/2020012413494012.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/20200124135518569.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 14]: https://img-blog.csdnimg.cn/20200124135813801.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 15]: https://img-blog.csdnimg.cn/20200124140338830.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 16]: https://img-blog.csdnimg.cn/20200124140757399.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 17]: https://img-blog.csdnimg.cn/20200124141712241.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 18]: https://img-blog.csdnimg.cn/20200303224343614.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 19]: https://img-blog.csdnimg.cn/20200303225123104.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[https_blog.csdn.net_qq_39135287_article_details_101012149]: https://blog.csdn.net/qq_39135287/article/details/101012149
[https_blog.csdn.net_qq_39135287_article_details_103307664]: https://blog.csdn.net/qq_39135287/article/details/103307664
[https_blog.csdn.net_qq_39135287_article_details_104041772]: https://blog.csdn.net/qq_39135287/article/details/104041772
[https_pan.baidu.com_s_1GWxdGtl3oN4LnisHeOs6HQ]: https://pan.baidu.com/s/1GWxdGtl3oN4LnisHeOs6HQ
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 20]: https://img-blog.csdnimg.cn/2020022915040830.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 21]: https://img-blog.csdnimg.cn/20200229151249875.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[20200123172816600.png]: https://img-blog.csdnimg.cn/20200123172816600.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 22]: https://img-blog.csdnimg.cn/2020012319254925.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 23]: https://img-blog.csdnimg.cn/20200123195131936.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 24]: https://img-blog.csdnimg.cn/20200123195703537.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 25]: https://img-blog.csdnimg.cn/20200123225603167.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 26]: https://img-blog.csdnimg.cn/20200124123740926.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 27]: https://img-blog.csdnimg.cn/20200124125034327.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 28]: https://img-blog.csdnimg.cn/20200124124610508.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 29]: https://img-blog.csdnimg.cn/20200124125549861.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 30]: https://img-blog.csdnimg.cn/20200229152940634.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 31]: https://img-blog.csdnimg.cn/20200124131642578.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 32]: https://img-blog.csdnimg.cn/20200124161225866.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 33]: https://img-blog.csdnimg.cn/20200124144021531.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 34]: https://img-blog.csdnimg.cn/20200124144153184.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 35]: https://img-blog.csdnimg.cn/20200124161556548.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[Link 1]: https://blog.csdn.net/qq_39135287/article/details/101012149#10__150
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 36]: https://img-blog.csdnimg.cn/20200205115250878.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 37]: https://img-blog.csdnimg.cn/20200124163025516.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 38]: https://img-blog.csdnimg.cn/20200125164525782.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 39]: https://img-blog.csdnimg.cn/20200205121818798.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 40]: https://img-blog.csdnimg.cn/2020020615432743.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 41]: https://img-blog.csdnimg.cn/20200206154354589.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 42]: https://img-blog.csdnimg.cn/20200206154551192.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 43]: https://img-blog.csdnimg.cn/20200206155048280.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3_size_16_color_FFFFFF_t_70 44]: https://img-blog.csdnimg.cn/2020020615541714.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5MTM1Mjg3,size_16,color_FFFFFF,t_70
[Kubernetes_ _ Kubernetes_ _ yum_Kubernetes]: https://blog.csdn.net/qq_39135287/article/details/104068628
[Kubernetes_ _ Kubeadm_Kubernetes]: https://blog.csdn.net/qq_39135287/article/details/104575561
[20181122152708358.png_pic_center]: https://img-blog.csdnimg.cn/20181122152708358.png#pic_center