Nacos（十）之Kubernetes Nacos

缺乏、安全感 2022-10-25 11:24 254阅读 0赞

转载自  [Kubernetes Nacos][]

本项目包含一个可构建的Nacos Docker Image，旨在利用StatefulSets在[Kubernetes][]上部署[Nacos][]

# 快速开始 #

*  **Clone 项目**

git clone https://github.com/nacos-group/nacos-k8s.git

*  **简单例子**

> 如果你使用简单方式快速启动,请注意这是没有使用持久化卷的,可能存在数据丢失风险:

cd nacos-k8s
    chmod +x quick-startup.sh
    ./quick-startup.sh

*  **测试**
    
     *  **服务注册**
    
        curl -X PUT 'http://cluster-ip:8848/nacos/v1/ns/instance?serviceName=nacos.naming.serviceName&ip=20.18.7.10&port=8080'
    
     *  **服务发现**
    
        curl -X GET 'http://cluster-ip:8848/nacos/v1/ns/instance/list?serviceName=nacos.naming.serviceName'
    
     *  **发布配置**
    
        curl -X POST "http://cluster-ip:8848/nacos/v1/cs/configs?dataId=nacos.cfg.dataId&group=test&content=helloWorld"
    
     *  **获取配置**
    
        curl -X GET "http://cluster-ip:8848/nacos/v1/cs/configs?dataId=nacos.cfg.dataId&group=test"

# 高级使用 #

> 在高级使用中,Nacos在K8S拥有自动扩容缩容和数据持久特性,请注意如果需要使用这部分功能请使用PVC持久卷,Nacos的自动扩容缩容需要依赖持久卷,以及数据持久化也是一样,本例中使用的是NFS来使用PVC.

## 部署 NFS ##

*  创建角色

kubectl create -f deploy/nfs/rbac.yaml

> 如果的K8S命名空间不是**default**，请在部署RBAC之前执行以下脚本:

# Set the subject of the RBAC objects to the current namespace where the provisioner is being deployed
    $ NS=$(kubectl config get-contexts|grep -e "^\*" |awk '{print $5}')
    $ NAMESPACE=${NS:-default}
    $ sed -i'' "s/namespace:.*/namespace: $NAMESPACE/g" ./deploy/nfs/rbac.yaml

*  创建 `ServiceAccount` 和部署 `NFS-Client Provisioner`

kubectl create -f deploy/nfs/deployment.yaml

*  创建 NFS StorageClass

kubectl create -f deploy/nfs/class.yaml

*  验证NFS部署成功

kubectl get pod -l app=nfs-client-provisioner

## 部署数据库 ##

*  部署主库

cd nacos-k8s
    
    kubectl create -f deploy/mysql/mysql-master-nfs.yaml

*  部署从库

cd nacos-k8s 
    
    kubectl create -f deploy/mysql/mysql-slave-nfs.yaml

*  验证数据库是否正常工作

# master
    kubectl get pod 
    NAME                         READY   STATUS    RESTARTS   AGE
    mysql-master-gf2vd                        1/1     Running   0          111m
    
    # slave
    kubectl get pod 
    mysql-slave-kf9cb                         1/1     Running   0          110m

## 部署Nacos ##

*  修改 **deploy/nacos/nacos-pvc-nfs.yaml**

data:
      mysql.master.db.name: "主库名称"
      mysql.master.port: "主库端口"
      mysql.slave.port: "从库端口"
      mysql.master.user: "主库用户名"
      mysql.master.password: "主库密码"

*  创建 Nacos

kubectl create -f nacos-k8s/deploy/nacos/nacos-pvc-nfs.yaml

*  验证Nacos节点启动成功

kubectl get pod -l app=nacos
    
    
    NAME      READY   STATUS    RESTARTS   AGE
    nacos-0   1/1     Running   0          19h
    nacos-1   1/1     Running   0          19h
    nacos-2   1/1     Running   0          19h

## 扩容测试 ##

*  在扩容前，使用 [`kubectl exec`][kubectl exec]获取在pod中的Nacos集群配置文件信息

for i in 0 1; do echo nacos-$i; kubectl exec nacos-$i cat conf/cluster.conf; done

StatefulSet控制器根据其序数索引为每个Pod提供唯一的主机名。 主机名采用 - 的形式。 因为nacos StatefulSet的副本字段设置为2，所以当前集群文件中只有两个Nacos节点地址

![k8s][]

*  使用kubectl scale 对Nacos动态扩容

kubectl scale sts nacos --replicas=3

![scale][]

*  在扩容后，使用 [`kubectl exec`][kubectl exec]获取在pod中的Nacos集群配置文件信息

for i in 0 1 2; do echo nacos-$i; kubectl exec nacos-$i cat conf/cluster.conf; done

![get\_cluster\_after][get_cluster_after]

*  使用 [`kubectl exec`][kubectl exec]执行Nacos API 在每台节点上获取当前**Leader**是否一致

for i in 0 1 2; do echo nacos-$i; kubectl exec nacos-$i curl -X GET "http://localhost:8848/nacos/v1/ns/raft/state"; done

到这里你可以发现新节点已经正常加入Nacos集群当中

# 例子部署环境 #

*  机器配置

<table> 
 <thead> 
  <tr> 
   <th>内网IP</th> 
   <th>主机名</th> 
   <th>配置</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>172.17.79.3</td> 
   <td>k8s-master</td> 
   <td>CentOS Linux release 7.4.1708 (Core) Single-core processor Mem 4G Cloud disk 40G</td> 
  </tr> 
  <tr> 
   <td>172.17.79.4</td> 
   <td>node01</td> 
   <td>CentOS Linux release 7.4.1708 (Core) Single-core processor Mem 4G Cloud disk 40G</td> 
  </tr> 
  <tr> 
   <td>172.17.79.5</td> 
   <td>node02</td> 
   <td>CentOS Linux release 7.4.1708 (Core) Single-core processor Mem 4G Cloud disk 40G</td> 
  </tr> 
 </tbody> 
</table>

*  Kubernetes 版本：**1.12.2** （如果你和我一样只使用了三台机器，那么记得开启master节点的部署功能）
 *  NFS 版本：**4.1** 在k8s-master进行安装Server端，并且指定共享目录，本项目指定的\*\*/data/nfs-share\*\*
 *  Git

# 限制 #

*  必须要使用持久卷，否则会出现数据丢失的情况

# 项目目录 #

<table> 
 <thead> 
  <tr> 
   <th>目录</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>plugin</code></td> 
   <td>帮助Nacos集群进行动态扩容的插件Docker镜像源码</td> 
  </tr> 
  <tr> 
   <td><code>deploy</code></td> 
   <td>K8s 部署文件</td> 
  </tr> 
 </tbody> 
</table>

# 配置属性 #

*  nacos-pvc-nfs.yaml or nacos-quick-start.yaml

<table> 
 <thead> 
  <tr> 
   <th>名称</th> 
   <th>必要</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>mysql.master.db.name</code></td> 
   <td>Y</td> 
   <td>主库名称</td> 
  </tr> 
  <tr> 
   <td><code>mysql.master.port</code></td> 
   <td>N</td> 
   <td>主库端口</td> 
  </tr> 
  <tr> 
   <td><code>mysql.slave.port</code></td> 
   <td>N</td> 
   <td>从库端口</td> 
  </tr> 
  <tr> 
   <td><code>mysql.master.user</code></td> 
   <td>Y</td> 
   <td>主库用户名</td> 
  </tr> 
  <tr> 
   <td><code>mysql.master.password</code></td> 
   <td>Y</td> 
   <td>主库密码</td> 
  </tr> 
  <tr> 
   <td><code>NACOS_REPLICAS</code></td> 
   <td>N</td> 
   <td>确定执行Nacos启动节点数量,如果不适用动态扩容插件,就必须配置这个属性，否则使用扩容插件后不会生效</td> 
  </tr> 
  <tr> 
   <td><code>NACOS_SERVER_PORT</code></td> 
   <td>N</td> 
   <td>Nacos 端口</td> 
  </tr> 
  <tr> 
   <td><code>PREFER_HOST_MODE</code></td> 
   <td>Y</td> 
   <td>启动Nacos集群按域名解析</td> 
  </tr> 
 </tbody> 
</table>

*  **nfs** deployment.yaml

<table> 
 <thead> 
  <tr> 
   <th>名称</th> 
   <th>必要</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>NFS_SERVER</code></td> 
   <td>Y</td> 
   <td>NFS 服务端地址</td> 
  </tr> 
  <tr> 
   <td><code>NFS_PATH</code></td> 
   <td>Y</td> 
   <td>NFS 共享目录</td> 
  </tr> 
  <tr> 
   <td><code>server</code></td> 
   <td>Y</td> 
   <td>NFS 服务端地址</td> 
  </tr> 
  <tr> 
   <td><code>path</code></td> 
   <td>Y</td> 
   <td>NFS 共享目录</td> 
  </tr> 
 </tbody> 
</table>

*  mysql

<table> 
 <thead> 
  <tr> 
   <th>名称</th> 
   <th>必要</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>MYSQL_ROOT_PASSWORD</code></td> 
   <td>N</td> 
   <td>ROOT 密码</td> 
  </tr> 
  <tr> 
   <td><code>MYSQL_DATABASE</code></td> 
   <td>Y</td> 
   <td>数据库名称</td> 
  </tr> 
  <tr> 
   <td><code>MYSQL_USER</code></td> 
   <td>Y</td> 
   <td>数据库用户名</td> 
  </tr> 
  <tr> 
   <td><code>MYSQL_PASSWORD</code></td> 
   <td>Y</td> 
   <td>数据库密码</td> 
  </tr> 
  <tr> 
   <td><code>MYSQL_REPLICATION_USER</code></td> 
   <td>Y</td> 
   <td>数据库复制用户</td> 
  </tr> 
  <tr> 
   <td><code>MYSQL_REPLICATION_PASSWORD</code></td> 
   <td>Y</td> 
   <td>数据库复制用户密码</td> 
  </tr> 
  <tr> 
   <td><code>Nfs:server</code></td> 
   <td>N</td> 
   <td>NFS 服务端地址，如果使用本地部署不需要配置</td> 
  </tr> 
  <tr> 
   <td><code>Nfs:path</code></td> 
   <td>N</td> 
   <td>NFS 共享目录，如果使用本地部署不需要配置</td> 
  </tr> 
 </tbody> 
</table>

[Kubernetes Nacos]: https://nacos.io/zh-cn/docs/use-nacos-with-kubernetes.html
[Kubernetes]: https://kubernetes.io/
[Nacos]: https://nacos.io/
[kubectl exec]: https://kubernetes.io/docs/reference/generated/kubectl/kubectl-commands/#exec
[k8s]: /images/20221024/0f3f70c889dd4b69aea6d629bc080bd9.png
[scale]: /images/20221024/3bfe225b8f2549e481767551825f3835.png
[get_cluster_after]: /images/20221024/9554975a933e46b390cce78414e9305b.png