利用 Kuryr 整合 OpenStack 与 Kubernetes 网络

太过爱你忘了你带给我的痛 2022-03-20 01:24 134阅读 0赞

[Kubernetes Kuryr][] 是 OpenStack Neutron 的子项目，其主要目标是通过该项目来整合 [OpenStack][] 与 [Kubernetes 的网络][Kubernetes]。该项目在 Kubernetes 中实作了原生 Neutron-based 的网络，因此使用 Kuryr-Kubernetes 可以让你的 OpenStack VM 与 Kubernetes Pods 能够选择在同一个子网上运作，并且能够使用 Neutron 的 L3 与 Security Group 来对网络进行路由，以及阻挡特定来源 Port。

![20171108152516.jpg][]

Kuryr-Kubernetes 整合有两个主要组成部分：

1.  Kuryr Controller:  
    Controller 主要目的是监控 Kubernetes API 的来获取 Kubernetes 资源的变化，然后依据 Kubernetes 资源的需求来执行子资源的分配和资源管理。
2.  Kuryr CNI：主要是依据 Kuryr Controller 分配的资源来绑定网络至 Pods 上。

本篇我们将说明如何利用DevStack与Kubespray建立一个简单的测试环境。

## 环境资源与事前准备 ##

准备两台实体机器，这边测试的操作系统为CentOS 7.x，该环境将在扁平的网络下进行。

<table style="width:650px;"> 
 <thead> 
  <tr> 
   <td>IP Address 1</td> 
   <td>Role</td> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>172.24.0.34</td> 
   <td>controller, k8s-master</td> 
  </tr> 
  <tr> 
   <td>172.24.0.80</td> 
   <td>compute, k8s-node1</td> 
  </tr> 
 </tbody> 
</table>

更新每台节点的 CentOS 7.x packages:

$ sudo yum --enablerepo=cr update -y

然后关闭 firewalld 以及 SELinux 来避免实现发生问题：

$ sudo setenforce 0 
    $ sudo systemctl disable firewalld && sudo systemctl stop firewalld

## OpenStack Controller 安装 ##

首先进入172.24.0.34（controller），并且执行以下指令。

然后执行以下指令来建立 DevStack 专用使用者：

$ sudo useradd -s /bin/bash -d /opt/stack -m stack
    $ echo "stack ALL=(ALL) NOPASSWD: ALL" | sudo tee /etc/sudoers.d/stack

选用 DevStack 是因为现在都是用 Systemd 来管理服务，不用再用 screen 了，虽然都很方便。

接着切换至该使用者环境来建立 OpenStack：

$ sudo su - stack

下载 DevStack 安装套件：

$ git clone https://git.openstack.org/openstack-dev/devstack
    $ cd devstack

新增local.conf文件，来描述部署信息：

[[local|localrc]]
    HOST_IP=172.24.0.34
    GIT_BASE=https://github.com
    
    ADMIN_PASSWORD=passwd
    DATABASE_PASSWORD=passwd
    RABBIT_PASSWORD=passwd
    SERVICE_PASSWORD=passwd
    SERVICE_TOKEN=passwd
    MULTI_HOST=1

修改 HOST\_IP 为自己的 IP 位置。

完成后，执行以下指令开始部署：

$ ./stack.sh

## Openstack Compute 安装 ##

进入到172.24.0.80（compute），并且执行以下指令。

然后执行以下指令来建立 DevStack 专用使用者：

$ sudo useradd -s /bin/bash -d /opt/stack -m stack
    $ echo "stack ALL=(ALL) NOPASSWD: ALL" | sudo tee /etc/sudoers.d/stack

选用 DevStack 是因为现在都是用 Systemd 来管理服务，不用再用 screen 了，虽然都很方便。

接着切换至该使用者环境来建立 OpenStack：

$ sudo su - stack

下载 DevStack 安装套件：

$ git clone https://git.openstack.org/openstack-dev/devstack
    $ cd devstack

新增local.conf文件，来描述部署信息：

[[local|localrc]]
    HOST_IP=172.24.0.80
    GIT_BASE=https://github.com
    MULTI_HOST=1
    LOGFILE=/opt/stack/logs/stack.sh.log
    ADMIN_PASSWORD=passwd
    DATABASE_PASSWORD=passwd
    RABBIT_PASSWORD=passwd
    SERVICE_PASSWORD=passwd
    DATABASE_TYPE=mysql
    
    SERVICE_HOST=172.24.0.34
    MYSQL_HOST=$SERVICE_HOST
    RABBIT_HOST=$SERVICE_HOST
    GLANCE_HOSTPORT=$SERVICE_HOST:9292
    ENABLED_SERVICES=n-cpu,q-agt,n-api-meta,c-vol,placement-client
    NOVA_VNC_ENABLED=True
    NOVNCPROXY_URL="http://$SERVICE_HOST:6080/vnc_auto.html"
    VNCSERVER_LISTEN=$HOST_IP
    VNCSERVER_PROXYCLIENT_ADDRESS=$VNCSERVER_LISTEN

> Tips:  
> 修改 HOST\_IP 为自己的主机位置。  
> 修改 SERVICE\_HOST 为 Master 的IP位置。

完成后，执行以下指令开始部署：

$ ./stack.sh

## 建立 Kubernetes 集群环境 ##

首先确认所有节点之间不需要 SSH 密码即可登入，接着进入到172.24.0.34（k8s-master）并且执行以下指令。

接着安装所需要的套件：

$ sudo yum -y install software-properties-common ansible git gcc python-pip python-devel libffi-devel openssl-devel
    $ sudo pip install -U kubespray

完成后，新增 kubespray 配置文件：

$ cat <<EOF >  ~/.kubespray.yml
    kubespray_git_repo: "https://github.com/kubernetes-incubator/kubespray.git"
    # Logging options
    loglevel: "info"
    EOF

然后利用 kubespray-cli 快速生成环境的inventory文件，并修改部分内容：

$ sudo -i
    $ kubespray prepare --masters master --etcds master --nodes node1

编辑/root/.kubespray/inventory/inventory.cfg，修改以下内容：

[all]
    master  ansible_host=172.24.0.34 ansible_user=root ip=172.24.0.34
    node1    ansible_host=172.24.0.80 ansible_user=root ip=172.24.0.80
    
    [kube-master]
    master
    
    [kube-node]
    master
    node1
    
    [etcd]
    master
    
    [k8s-cluster:children]
    kube-node1
    kube-master

完成后，即可利用 kubespray-cli 指令来进行部署：

$ kubespray deploy --verbose -u root -k .ssh/id_rsa -n calico

经过一段时间后就会部署完成，这时候检查节点是否正常：

$ kubectl get no
    NAME      STATUS         AGE       VERSION
    master    Ready,master   2m        v1.7.4
    node1     Ready          2m        v1.7.4

接着为了方便让 Kuryr Controller 简单取得 K8s API Server，这边修改/etc/kubernetes/manifests/kube-apiserver.yml档案，加入以下内容：

- "--insecure-bind-address=0.0.0.0"
    - "--insecure-port=8080"

> Tips:  
> 将 insecure 绑定到 0.0.0.0 之上，以及开启 8080 Port。

## 安装 Openstack Kuryr ##

进入到172.24.0.34（controller），并且执行以下指令。

首先在节点安装所需要的套件：

$ sudo yum -y install  gcc libffi-devel python-devel openssl-devel install python-pip

然后下载 kuryr-kubernetes 并进行安装：

$ git clone http://git.openstack.org/openstack/kuryr-kubernetes
    $ pip install -e kuryr-kubernetes

新增kuryr.conf至/etc/kuryr目录：

$ cd kuryr-kubernetes
    $ ./tools/generate_config_file_samples.sh
    $ sudo mkdir -p /etc/kuryr/
    $ sudo cp etc/kuryr.conf.sample /etc/kuryr/kuryr.conf

接着使用 OpenStack Dashboard 建立相关项目，在浏览器输入[Dashboard][]，并执行以下步骤。

1.  新增 K8s project。
2.  修改 K8s project member 加入到 service project。
3.  在该 Project 中新增 Security Groups，参考[kuryr-kubernetes manually][]。
4.  在该 Project 中新增 pod\_subnet 子网。
5.  在该 Project 中新增 service\_subnet 子网。

完成后，修改/etc/kuryr/kuryr.conf文件，加入以下内容：

[DEFAULT]
    use_stderr = true
    bindir = /usr/local/libexec/kuryr
    
    [kubernetes]
    api_root = http://172.24.0.34:8080
    
    [neutron]
    auth_url = http://172.24.0.34/identity
    username = admin
    user_domain_name = Default
    password = admin
    project_name = service
    project_domain_name = Default
    auth_type = password
    
    [neutron_defaults]
    ovs_bridge = br-int
    pod_security_groups = {id_of_secuirity_group_for_pods}
    pod_subnet = {id_of_subnet_for_pods}
    project = {id_of_project}
    service_subnet = {id_of_subnet_for_k8s_services}

完成后执行 kuryr-k8s-controller：

$ kuryr-k8s-controller --config-file /etc/kuryr/kuryr.conf

## 安装 Kuryr-CNI ##

进入到172.24.0.80（node1）并且执行以下指令。

首先在节点安装所需要的套件：

$ sudo yum -y install  gcc libffi-devel python-devel openssl-devel python-pip

然后安装 Kuryr-CNI 来提供给 kubelet 使用：

$ git clone http://git.openstack.org/openstack/kuryr-kubernetes
    $ sudo pip install -e kuryr-kubernetes

新增kuryr.conf至/etc/kuryr目录：

$ cd kuryr-kubernetes
    $ ./tools/generate_config_file_samples.sh
    $ sudo mkdir -p /etc/kuryr/
    $ sudo cp etc/kuryr.conf.sample /etc/kuryr/kuryr.conf

修改/etc/kuryr/kuryr.conf档案，加入以下内容：

[DEFAULT]
    use_stderr = true
    bindir = /usr/local/libexec/kuryr
    [kubernetes]
    api_root = http://172.24.0.34:8080

建立 CNI bin 与 Conf 目录：

$ sudo mkdir -p /opt/cni/bin
    $ sudo ln -s $(which kuryr-cni) /opt/cni/bin/
    $ sudo mkdir -p /etc/cni/net.d/

新增/etc/cni/net.d/10-kuryr.conf CNI 配置文件：

{
        "cniVersion": "0.3.0",
        "name": "kuryr",
        "type": "kuryr-cni",
        "kuryr_conf": "/etc/kuryr/kuryr.conf",
        "debug": true
    }

完成后，更新 oslo 与 vif python 库：

$ sudo pip install 'oslo.privsep>=1.20.0' 'os-vif>=1.5.0'

最后重新启动相关服务：

sudo systemctl daemon-reload && systemctl restart kubelet.service

## 测试结果 ##

我们这边开一个 Pod 与 OpenStack VM 来进行沟通：

![20171108152735.jpg][]![20171108152748.jpg][]

[Kubernetes Kuryr]: https://github.com/openstack/kuryr-kubernetes
[OpenStack]: https://www.kubernetes.org.cn/tags/openstack
[Kubernetes]: https://www.kubernetes.org.cn/tags/%E7%BD%91%E7%BB%9C
[20171108152516.jpg]: /images/20220320/fa3d170076574c4a998e2aa68acbd38d.png
[Dashboard]: http://172.24.0.34/
[kuryr-kubernetes manually]: https://docs.openstack.org/kuryr-kubernetes/latest/installation/manual.html
[20171108152735.jpg]: https://www.kubernetes.org.cn/img/2017/11/20171108152735.jpg
[20171108152748.jpg]: /images/20220320/ea8bd85f94364e7a80817db95cdab70e.png