由浅入深Dubbo网络通信协议大全

约定不等于承诺〃 2024-03-17 10:19 17阅读 0赞

#### 目录 ####

*  1 网络通信协议
 *   *  1.1 dubbo协议
     *  1.2 rmi协议
     *  1.3 hessian协议
     *  1.4 http协议
     *  1.5 webservice协议
     *  1.6 thrift协议
     *  1.7 rest协议
     *  1.8 grpc协议
     *  1.9 memcached协议
     *  1.10 redis协议
 *  2 序列化实现剖析

--------------------

## 1 网络通信协议 ##

![在这里插入图片描述][1a53befb68eb445a93e4ed6c7bc2367b.png]

在之前的内容中，我们讲解了消费者端服务发现与提供者端服务暴露的相关内容，同时也知道消费者端通过内置的负载均衡算法获取合适的调用invoker进行远程调用。那么，本章节重点关注的就是远程调用过程即网络通信。

![在这里插入图片描述][30b43096e2d44d49a559159a25975ea6.png]

序列化就是将对象转成字节流

**网络通信位于Remoting模块：**

*  Remoting 实现是 Dubbo 协议的实现，如果你选择 RMI 协议，整个 Remoting 都不会用上；
 *  Remoting 内部再划为 `Transport 传输层` 和 `Exchange 信息交换层`；
 *  Transport 层只负责单向消息传输，是对 Mina, Netty, Grizzly 的抽象，它也可以扩展 UDP 传输；
 *  Exchange 层是在传输层之上封装了 Request-Response 语义；

**网络通信的问题：**

*  客户端与服务端连通性问题
 *  粘包拆包问题
 *  异步多线程数据一致问题

**通信协议**

dubbo内置，dubbo协议 ，rmi协议，hessian协议，http协议，webservice协议，thrift协议，rest协议，grpc协议，memcached协议，redis协议等10种通讯协议。各个协议特点如下

### 1.1 dubbo协议 ###

Dubbo 缺省协议采用单一长连接和 NIO 异步通讯，适合于小数据量大并发的服务调用，以及服务消费者机器数远大于服务提供者机器数的情况。

缺省协议，使用基于 mina `1.1.7` 和 hessian `3.2.1` 的 tbremoting 交互。

*  连接个数：单连接
 *  连接方式：长连接
 *  传输协议：TCP
 *  传输方式：NIO 异步传输
 *  序列化：Hessian 二进制序列化
 *  适用范围：传入传出参数数据包较小（建议小于100K），消费者比提供者个数多，单一消费者无法压满提供者，尽量不要用 dubbo 协议传输大文件或超大字符串。
 *  适用场景：常规远程服务方法调用

### 1.2 rmi协议 ###

RMI 协议采用 JDK 标准的 `java.rmi.*` 实现，采用阻塞式短连接和 JDK 标准序列化方式。

*  连接个数：多连接
 *  连接方式：短连接
 *  传输协议：TCP
 *  传输方式：同步传输
 *  序列化：Java 标准二进制序列化
 *  适用范围：传入传出参数数据包大小混合，消费者与提供者个数差不多，可传文件。
 *  适用场景：常规远程服务方法调用，与原生RMI服务互操作

### 1.3 hessian协议 ###

Hessian 协议用于集成 Hessian 的服务，Hessian 底层采用 Http 通讯，采用 Servlet 暴露服务，Dubbo 缺省内嵌 Jetty 作为服务器实现。

Dubbo 的 Hessian 协议可以和原生 Hessian 服务互操作，即：

*  提供者用 Dubbo 的 Hessian 协议暴露服务，消费者直接用标准 Hessian 接口调用
 *  或者提供方用标准 Hessian 暴露服务，消费方用 Dubbo 的 Hessian 协议调用。
 *  连接个数：多连接
 *  连接方式：短连接
 *  传输协议：HTTP
 *  传输方式：同步传输
 *  序列化：Hessian二进制序列化
 *  适用范围：传入传出参数数据包较大，提供者比消费者个数多，提供者压力较大，可传文件。
 *  适用场景：页面传输，文件传输，或与原生hessian服务互操作

### 1.4 http协议 ###

基于 HTTP 表单的远程调用协议，采用 Spring 的 HttpInvoker 实现

*  连接个数：多连接
 *  连接方式：短连接
 *  传输协议：HTTP
 *  传输方式：同步传输
 *  序列化：表单序列化
 *  适用范围：传入传出参数数据包大小混合，提供者比消费者个数多，可用浏览器查看，可用表单或URL传入参数，暂不支持传文件。
 *  适用场景：需同时给应用程序和浏览器 JS 使用的服务。

### 1.5 webservice协议 ###

基于 WebService 的远程调用协议，基于 Apache CXF 实现\](http://dubbo.apache.org/zh-cn/docs/user/references/protocol/webservice.html\#fn2)。

可以和原生 WebService 服务互操作，即：

*  提供者用 Dubbo 的 WebService 协议暴露服务，消费者直接用标准 WebService 接口调用，
 *  或者提供方用标准 WebService 暴露服务，消费方用 Dubbo 的 WebService 协议调用。
 *  连接个数：多连接
 *  连接方式：短连接
 *  传输协议：HTTP
 *  传输方式：同步传输
 *  序列化：SOAP 文本序列化（http + xml）
 *  适用场景：系统集成，跨语言调用

### 1.6 thrift协议 ###

当前 dubbo 支持 \[[1\]][1]的 thrift 协议是对 thrift 原生协议 \[[2\]][2] 的扩展，在原生协议的基础上添加了一些额外的头信息，比如 service name，magic number 等。

### 1.7 rest协议 ###

基于标准的Java REST API——JAX-RS 2.0（Java API for RESTful Web Services的简写）实现的REST调用支持

### 1.8 grpc协议 ###

Dubbo 自 2.7.5 版本开始支持 gRPC 协议，对于计划使用 HTTP/2 通信，或者想利用 gRPC 带来的 Stream、反压、Reactive 编程等能力的开发者来说， 都可以考虑启用 gRPC 协议。

*  为期望使用 gRPC 协议的用户带来服务治理能力，方便接入 Dubbo 体系
 *  用户可以使用 Dubbo 风格的，基于接口的编程风格来定义和使用远程服务

### 1.9 memcached协议 ###

基于 memcached实现的 RPC 协议

### 1.10 redis协议 ###

基于 Redis 实现的 RPC 协议

## 2 序列化实现剖析 ##

序列化就是将对象转成字节流，用于网络传输，以及将字节流转为对象，用于在收到字节流数据后还原成对象。序列化的优势有很多，例如安全性更好、可跨平台等。我们知道dubbo基于netty进行网络通讯，在`NettyClient.doOpen()`方法中可以看到Netty的相关类

bootstrap.setPipelineFactory(new ChannelPipelineFactory() {
        
        public ChannelPipeline getPipeline() {
        
            NettyCodecAdapter adapter = new NettyCodecAdapter(getCodec(), getUrl(), NettyClient.this);
            ChannelPipeline pipeline = Channels.pipeline();
            pipeline.addLast("decoder", adapter.getDecoder());
            pipeline.addLast("encoder", adapter.getEncoder());
            pipeline.addLast("handler", nettyHandler);
            return pipeline;
        }
    });

然后去看NettyCodecAdapter 类最后进入ExchangeCodec类的encodeRequest方法，如下：

protected void encodeRequest(Channel channel, ChannelBuffer buffer, Request req) throws IOException {
        
            Serialization serialization = getSerialization(channel);
            // header.
            byte[] header = new byte[HEADER_LENGTH];

是的，就是Serialization接口，默认是Hessian2Serialization序列化接口。

![在这里插入图片描述][296ecb38f66c43718e9f01637135e5c3.png]

Dubbo序列化支持java、compactedjava、nativejava、fastjson、dubbo、fst、hessian2、kryo，protostuff其中默认hessian2。其中java、compactedjava、nativejava属于原生java的序列化。

*  dubbo序列化：阿里尚未开发成熟的高效java序列化实现，阿里不建议在生产环境使用它。
 *  **hessian2序列化：hessian是一种跨语言的高效二进制序列化方式。但这里实际不是原生的hessian2序列化，而是阿里修改过的，它是dubbo RPC默认启用的序列化方式。**
 *  json序列化：目前有两种实现，一种是采用的阿里的fastjson库，另一种是采用dubbo中自己实现的简单json库，但其实现都不是特别成熟，而且json这种文本序列化性能一般不如上面两种二进制序列化。
 *  java序列化：主要是采用JDK自带的Java序列化实现，性能很不理想。

最近几年，各种新的高效序列化方式层出不穷，不断刷新序列化性能的上限，最典型的包括：

*  专门针对Java语言的：Kryo，FST等等
 *  跨语言的：Protostuff，ProtoBuf，Thrift，Avro，MsgPack等等

这些序列化方式的性能多数都显著优于 hessian2 （甚至包括尚未成熟的dubbo序列化）。所以我们可以为 dubbo 引入 Kryo 和 FST 这两种高效 Java 来优化 dubbo 的序列化。

使用Kryo和FST非常简单，只需要在dubbo RPC的XML配置中添加一个属性即可：

<dubbo:protocol name="dubbo" serialization="kryo"/>

[1a53befb68eb445a93e4ed6c7bc2367b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/204cc7e35ce54f56ac0bfced32f12ae1.png
[30b43096e2d44d49a559159a25975ea6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/d4f64383246a429db7cbe0fa705ba2ad.png
[1]: http://dubbo.apache.org/zh-cn/docs/user/references/protocol/thrift.html#fn1
[2]: http://dubbo.apache.org/zh-cn/docs/user/references/protocol/thrift.html#fn2
[296ecb38f66c43718e9f01637135e5c3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/d1d85b114d954170bcd1da8feeccb329.png