K8s环境内部的服务怎么注册到外部

- 日理万妓 2023-08-17 15:27 121阅读 0赞

#### 描述 ####

最近在使用nacos和k8s的时候遇到一个问题：nacos部署在k8s的外部，服务部署在K8s内部，服务注册该怎么玩呢？ 其实我们现实环境中，不可能所有的服务都部署在k8s内部的，总有些服务要部署在k8s外部的。下面我聊一下我的想法

#### LoadBalancer ####

创建一个LoadBalancer类型的service，这样就会把我们服务映射到外部的负载均衡上了。 我们k8s内部的服务需要注册负载均衡的地址到nacos。如果你的k8s是安装在下面这些环境的，那么你可以使用这种方式（居然没有阿里云）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 1]

#### 使用Kong ####

这种方式是在K8s内部安装一套Kong，K8s内部的服务首先注册到Kong上，然后向nacos注册的时候，注册Kong的地址  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 2]

#### 注册节点的Ip和Pod的hostPort ####

> 这种方式我觉得最好了，但是实际环境中我没有实现，还请大神相助

*  我们的服务在k8s里面启动成deployment
 *  利用k8s的downward ApI将pod所在的节点的IP，设置成容器的环境变量
 *  `我卡在此处了`， 没有办法将hostPort设置成容器的环境变量
 *  pod启动的时候，程序通过环境变量获取节点的Ip和hostPort，并注册到nacos
 *  外部服务通过NodeIP + hostPort访问服务  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 3]

#### 注册service的Nodeport和pod所在的节点的IP ####

*  启动一个NodePort类型的service
 *  我们的服务在k8s里面启动成deployment， 通过downward ApI将pod所在节点的IP，设置为容器内部的环境变量
 *  pod启动的时候通过K8s的API获取service的Nodeport
 *  将节点的Ip和service的NodePort注册到nacos中去

###### 该方案的实际操作 ######

*  启动一个service

apiVersion: v1
    kind: Service
    metadata:
      name: service-to-external
      namespace: testuser
    spec:
      selector:
        app:  nginx-to-external
      type: NodePort 
      ports:   
        - name: http 
          port: 80

*  启动deployment

apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: to-external-deployment
      namespace: testuser
      labels:
        app: to-external
    spec:
      replicas: 1
      selector:
        matchLabels:
          app:  nginx-to-external
      template:
        metadata:
          labels:
            app: nginx-to-external
        spec:
          containers:
          - name:  nginx-to-external-deployment
            env:
            - name: node_ip
              valueFrom:
                fieldRef:
                  fieldPath: status.hostIP
            - name: namespace
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
            - name: service_name
              value: service-to-external
            image:  172.16.0.96:800/demaxieya/python-script:v1.0
            ports:
               - containerPort: 80
                 name: web

>  *  node\_ip 就是通过downward ApI获取节点的Ip
>  *  namespace 就是通过downward ApI获取namespace  
>     service\_name 前面创建的service的名字

*  镜像启动时执行的脚本

import os 
    import requests
    
    namespace = os.getenv("namespace")
    node_ip = os.getenv("node_ip")
    service_name = os.getenv("service_name")
    url = "https://kubernetes.default.svc/api/v1/namespaces/%s/services/%s" % (namespace, service_name)
    cert = "/var/run/secrets/kubernetes.io/serviceaccount/ca.crt"
    
    response = requests.get(url, verify=cert)
    print("节点的ip:" , node_ip)
    print("service的信息: ", response.json())

>  *  kubernetes.default.svc 这个是API server的地址
>  *  默认pod启动的时候使用的是default的serviceAccount，没有访问service的权限，需要我们做一个角色绑定。或者自己创建一个具有查看service权限的账户

kind: ClusterRoleBinding
    apiVersion: rbac.authorization.k8s.io/v1beta1
    metadata:
      name: read-secrets-global
    subjects:
    - kind: User
      name: system:anonymous
      apiGroup: rbac.authorization.k8s.io
    roleRef:
      kind: ClusterRole
      name: view
      apiGroup: rbac.authorization.k8s.io

*  查看脚本的输出  
    下图中可以看到我们已经获取到ip地址和Nodeport了， 后面就可以向nacos注册了。我就省略了注册的步骤了  
    ![在这里插入图片描述][20190926162758441.png]

--------------------

> 先写到这里了，服务注册是大话题，小弟也只是理解一部分， 如果有异议或者问题 请进QQ群630300475，大家聊聊

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70]: /images/20230810/04c3460362774e58b73975f26eac6136.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 1]: /images/20230810/b4d71843652b425f81e8a953ee663503.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 2]: /images/20230810/7ac2818d2a144495a2106415cc6fcaf4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 3]: /images/20230810/a23d31b960b04136bca9adc220651af9.png
[20190926162758441.png]: /images/20230810/af9777e5b1594f798ba154be55ca9f6f.png

发表评论取消回复

表情：

评论列表（有 0 条评论，121人围观）

还没有评论，来说两句吧...

相关阅读

相关服务运行从Docker到k8s

一：服务宿主历史 ![format_png][] \[虚拟化技术\]演进 1.1 物理机时代物理机时代：多个应用程序可能会跑在一台机器上。 ![form

水深无声/ 2024年03月24日 11:29/ 0 赞/ 75 阅读

相关 K8s环境内部的服务怎么注册到外部

描述最近在使用nacos和k8s的时候遇到一个问题：nacos部署在k8s的外部，服务部署在K8s内部，服务注册该怎么玩呢？其实我们现实环境中，不可能所有的服务都部署

- 日理万妓/ 2023年08月17日 15:27/ 0 赞/ 122 阅读

相关 K8S 外部端口无法访问问题

K8S 外部端口无法访问问题问题描述解决方法问题描述 1. 首先容器外部端口肯定开放了，可在 Dashboard 上查看 2. 在容器所在服

淩亂°似流年/ 2023年06月19日 01:59/ 0 赞/ 20 阅读

相关 k8s容器内部应用向eruaka注册ip问题

springboot项目部署到k8s中，发现eruaka注册是容器id，这个其他应用是无法访问的 ![1][] 参考[Spring Cloud配置ip注册找不到$\{s

朱雀/ 2023年02月22日 08:21/ 0 赞/ 190 阅读

相关 k8s部署mysql服务

搭建一个api和一个mysql服务能够接收用户传的数据并且存在mysql里面数据需要持久化这里使用nfs服务,需提前安装并设置共享目录,参考:[min

缺乏、安全感/ 2023年01月18日 04:07/ 0 赞/ 212 阅读

相关 k8s怎么学习？：带你入门到实战

1元秒杀5星好课《k8s入门与运维：灵活安装kubernetes/k8s各个版本高可用集群》，课程销量和好评目前始终排在第一，时间有限，需要的抓紧抢购哈，只需1元，不要错过哦。

系统管理员/ 2023年01月15日 14:29/ 0 赞/ 136 阅读

相关 cicd自动部署服务到K8S中

整体架构：代码仓库：[gitlab的部署][gitlab] 镜像仓库：[harbor的部署][harbor] 容器编排系统：k8s 容器服务管理工具：[rancher

灰太狼/ 2022年11月01日 13:53/ 0 赞/ 515 阅读

相关 k8s 内部实现服务注册和服务调用

k8s内部的服务注册主要是依靠几个组件 coreDns,service和pod的标签选择器。服务注册的流程 pod创建完以后，一般我们都会打算一

我会带着你远行/ 2022年10月19日 05:33/ 0 赞/ 1047 阅读

相关 K8s 服务发现：环境变量和DNS

环境变量创建Pod资源时，kubectl会将其所属名称空间内的每个活动的Service对象以一系列环境变量的形式注入其中。它支持使用Kubernetes Service

超、凢脫俗/ 2022年10月16日 07:51/ 0 赞/ 270 阅读

相关 k8s实践(12)--K8s service服务详解

一、Service原理机制 -------------------- Kubernetes [Pod][] 是有生命周期的，它们可以被创建，也可以被销毁，然

灰太狼/ 2021年12月10日 03:09/ 0 赞/ 2237 阅读