Kubernetes生产实践系列之十八：ServiceMesh之在Kubernetes中对gRPC流量进行负载均衡

超、凢脫俗 2023-03-12 14:28 27阅读 0赞

## **一、前言** ##

gRPC服务在部署到Kubernetes之后，有来自Kubernetes内部和外部的gRPC访问请求，所以对负责请求接入和负载均衡的LB提出了更高的要求，除了实施传统的负载均衡策略，还要在七层实施数据包分解和路由。

业务的典型场景是外部客户端通过短连接访问API，经过外部LB、Kong、内部LB、Ingress到达内部请求接入服务，之后的内部调用通过gRPC长连接进行：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nsb3VkdnRlY2g_size_16_color_FFFFFF_t_70][] Kubernetes平台内部和外部gRPC调用

转载自https://blog.csdn.net/cloudvtech

## **二、访问Kubernetes集群内gRPC服务的负载均衡** ##

### 2.1 K8S集群内服务访问集群内gRPC服务的负载均衡 ###

集群内服务访问集群内其它gRPC服务的时候，如果使用kube-proxy提供的基于iptables或者IPVS的四层负载均衡服务，则会造成gRPC长连接被绑定在某个固定的后端POD上，造成负载均衡的失效，要解决这个问题可以有两个方向进行选择：

*  集中式LB：Kubernetes Ingress Nginx
 *  分布式客户端LB：
    
     *  基于etcd服务发现的客户端负载均衡
     *  基于k8s sidecar的负载均衡：Linkerd/Istio

在我们的业务实践中，我们采用来基于etcd服务发现的客户端负载均衡，这种方式可以大幅减轻Ingress Nginx的压力，但是会增加业务系统的复杂度(业务研发需要负责服务注册、服务发现、负载均衡、端点可用性保障和错误处理)：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nsb3VkdnRlY2g_size_16_color_FFFFFF_t_70 1][] 基于etcd服务发现的客户端gRPC负载均衡

所有的服务都可以在etcd里面进行注册和发现：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nsb3VkdnRlY2g_size_16_color_FFFFFF_t_70 2][]

### 2.2 K8S集群外服务访问集群内gRPC服务的负载均衡 ###

外部访问集群内gRPC服务这个情况暂时还不是很普遍，因为外部业务请求一般都是客户端直接发起，都是HTTP短连接；针对特殊的gRPC长连接请求，可以直接通过v0.3.0版本以后Ingress Nginx进行访问支持：

[https://kubernetes.github.io/ingress-nginx/examples/grpc/][https_kubernetes.github.io_ingress-nginx_examples_grpc]

这个可以参看下一篇文章[《使用Ingress Nginx暴露Kubernetes上的gRPC服务》][Ingress Nginx_Kubernetes_gRPC]

转载自https://blog.csdn.net/cloudvtech

## **三、Kubernetes集群内服务访问外部gRPC服务的负载均衡** ##

Kubernetes集群内部服务要访问外部的gRPC服务，最直接的方案也是将外部服务注册到etcd上面，由客户端进行服务发现、服务维护和负载均衡：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nsb3VkdnRlY2g_size_16_color_FFFFFF_t_70 3][]

另外一种等价的方案就是通过Kubernetes将外部服务定义成cluster service或者endpoints，直接暴露给内部调用：

[https://kubernetes.io/docs/concepts/services-networking/service/\#services-without-selectors][https_kubernetes.io_docs_concepts_services-networking_service_services-without-selectors]

这种方式Kubernetes可以帮助进行服务注册，但是客户端要负责后续服务发现(为了避免使用Kubernetes的默认负载均衡方案，客户端需要通过service进行主动的服务发现)、存活管理和负载均衡。

另外，对这个方案的一个改进措施是在外部gRPC服务集群前端部署支持gRPC协议的负载均衡服务，比如Nginx/Envoy/ambassador等，这样Kubernetes平台的服务只需要和支持gRPC协议的负载均衡服务IP建立长连接即可：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nsb3VkdnRlY2g_size_16_color_FFFFFF_t_70 4][]

转载自https://blog.csdn.net/cloudvtech

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nsb3VkdnRlY2g_size_16_color_FFFFFF_t_70]: /images/20230312/dee5417a6f3c4d338d15c58a04054438.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nsb3VkdnRlY2g_size_16_color_FFFFFF_t_70 1]: /images/20230312/14a58abab7de4a048461b8018eca1a11.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nsb3VkdnRlY2g_size_16_color_FFFFFF_t_70 2]: /images/20230312/4cccaad981c041ceb13224e7f126aae2.png
[https_kubernetes.github.io_ingress-nginx_examples_grpc]: https://kubernetes.github.io/ingress-nginx/examples/grpc/
[Ingress Nginx_Kubernetes_gRPC]: https://blog.csdn.net/cloudvtech/article/details/106058828
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nsb3VkdnRlY2g_size_16_color_FFFFFF_t_70 3]: /images/20230312/984f86e4fc95401b8f49f59dc37b4dad.png
[https_kubernetes.io_docs_concepts_services-networking_service_services-without-selectors]: https://kubernetes.io/docs/concepts/services-networking/service/#services-without-selectors
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nsb3VkdnRlY2g_size_16_color_FFFFFF_t_70 4]: /images/20230312/1494536086e8488f83369755e0c50db7.png

发表评论取消回复

表情：

评论列表（有 0 条评论，27人围观）

还没有评论，来说两句吧...

相关阅读

相关 Kubernetes生产实践系列之四：在Kubernetes运行带Desktop的Ubuntu容器

一、前言在文章[《Kubernetes生产实践系列之二：在Kubernetes使用kubevirt运行管理Ubuntu/Windows桌面操作系统》][Kuber

ゝ一世哀愁。/ 2023年05月22日 22:41/ 0 赞/ 720 阅读

相关 Kubernetes生产实践系列之十：安装Kubernetes原生的airflow

一、前言 Airflow是Airbnb的基于DAG(有向无环图)的任务管理系统，是进行任务分割、调度处理的利器。在生产实践中，有业务部门需要使用airflow来进行大批量

今天药忘吃喽~/ 2023年05月22日 22:09/ 0 赞/ 24 阅读

相关 Kubernetes生产实践系列之十九：ServiceMesh之使用Ingress Nginx暴露Kubernetes上的gRPC服务

一、前言 Ingress Nginx支持gRPC服务的暴露，低于0.21的版本使用如下的annotation支持gRPC： nginx.ingress.kube

Bertha 。/ 2023年03月13日 05:47/ 0 赞/ 3 阅读

相关 Kubernetes生产实践系列之十七：ServiceMesh之gRPC基本原理和实践

一、前言 gRPC是一款高效的RPC框架，基于HTTP/2进行设计并支持ProtoBuf序列化协议。gRPC使用长连接和单连接内部高并发来提高性能，这对于数据中心内部服务

绝地灬酷狼/ 2023年03月12日 14:28/ 0 赞/ 37 阅读

相关 Kubernetes生产实践系列之十八：ServiceMesh之在Kubernetes中对gRPC流量进行负载均衡

一、前言 gRPC服务在部署到Kubernetes之后，有来自Kubernetes内部和外部的gRPC访问请求，所以对负责请求接入和负载均衡的LB提出了更高的要求，除了实

超、凢脫俗/ 2023年03月12日 14:28/ 0 赞/ 28 阅读

相关 Kubernetes生产实践系列之三十：Kubernetes基础技术之集群计算资源管理

一、前言在Kubernetes环境中，CPU和内存是最主要的计算资源，Kubernetes建立了完善的机制来定义、分配、调度和控制这两类资源的使用。Kubernetes

落日映苍穹つ/ 2023年03月02日 07:52/ 0 赞/ 40 阅读

相关 Kubernetes生产实践系列之二十八：Kubernetes基础技术之容器关键技术介绍

一、前言在过去50年计算机的发展历史中，推动计算技术潮流滚滚向前的一大分支就是对于计算资源的快速调度和有效利用，围绕这这个方向，在如下计算特性上做了不同角度和深度的技术

浅浅的花香味﹌/ 2023年02月19日 14:26/ 0 赞/ 31 阅读

相关 Kubernetes生产实践系列之二十六：Kubernetes Operator之Operator SDK开发环境构建

一、前言 [Kubernetes Operator][]是由coreos公司提出的一个概念，旨在对Kubernetes的CRD概念进行系统化和框架化的有机组合。CRD是对

忘是亡心i/ 2023年02月17日 03:21/ 0 赞/ 34 阅读

相关 Kubernetes生产实践系列之二十九：Kubernetes基础技术之容器关键技术实践

一、前言在文章[《Kubernetes生产实践系列之二十八：Kubernetes基础技术之容器关键技术介绍》][Kubernetes_Kubernetes]中，对于Do

雨点打透心脏的1/2处/ 2022年11月26日 15:52/ 0 赞/ 372 阅读

相关 kubernetes系列之十一：在Kubernetes平台对容器进行debug

一、前言在容器云的部署中，一个重要的准则是所有的容器以及容器内的进行都要以最低权限运行，所以一般情况下，一个应用程序的所有容器都是以非root权限运行的；另外，为了保证容器

今天药忘吃喽~/ 2022年05月25日 07:40/ 0 赞/ 311 阅读