Spark RPC（简约版）

痛定思痛。 2022-05-15 07:15 204阅读 0赞

一：Spark 1.6RPC解析

1，Spark 1.6推出RpcEnv，RPCEndpoint，PRCEndpointRef为核心的新型架构下的RPC通信方式，就目前的实现而言，其底层依旧是Akka；

2，Akka是基于Actor的分布式消息通信系统，而在Spark 1.6中封装了Akka，提供更高层的Rpc实现，目的是移除对Akka的依赖，为了扩展和自定义Rpc打下基础；

二：RPCEnv解析

1，RpcEnv是RPC的环境（相当于Akka中的ActorSystem），所有的RpcEndpoint都需要注册到RpcEnv实例对象中（注册的时候会指定注册的名称，这样客户端就可以通过名称查询到RpcEndpoint的Ref的引用，进而进行通信），在RpcEndpoint接收到消息后会receive方法进行处理；   
![这里写图片描述][20160516092404389]  
2，RpcEndpoint如果接收到需要reply的消息的话就会交给自己的receiveAndReply来处理（回复时候是通过RpcCallContext中的reply方法来回复发送者的），如果不需要reply的话就交给receive方法来处理；

3，RpcEnvFactory是负责创建RpcEnv的，通过create方法创建RpcEnv实例对象，默认是用的Netty：

private def getRpcEnvFactory(conf: SparkConf): RpcEnvFactory = {
      val rpcEnvNames = Map(
        "akka" -> "org.apache.spark.rpc.akka.AkkaRpcEnvFactory",
        "netty" -> "org.apache.spark.rpc.netty.NettyRpcEnvFactory")
      val rpcEnvName = conf.get("spark.rpc", "netty")
      val rpcEnvFactoryClassName = rpcEnvNames.getOrElse(rpcEnvName.toLowerCase, rpcEnvName)
      Utils.classForName(rpcEnvFactoryClassName).newInstance().asInstanceOf[RpcEnvFactory]
    }

4，RpcEnpoint的生命周期：构造（constructor）-> 启动（onStart）、消息接收（ receive\*）、停止（onStop）

[20160516092404389]: /images/20220515/e9df84ac7b804dfba9ab2e844f92fa85.png

发表评论取消回复

表情：

评论列表（有 0 条评论，204人围观）

还没有评论，来说两句吧...

相关阅读

相关 linux中指令简约版

一、常用的文件、目录操作命令这是我们**使用得最多**的命令了，**Linux最基础的命令**！ * 可用 `pwd`命令查看用户的当前目录 * 可用 ...

墨蓝/ 2024年04月17日 05:35/ 0 赞/ 84 阅读

相关 redis简约版教程

目录一. Redis 简介 1.简介 1.1概述 1.2 Redis 与其他 key - value 缓存产品有以下三个特点： 2. Redis 优势 3. Re

清疚/ 2024年04月01日 18:04/ 0 赞/ 77 阅读

相关 Spark2.x RPC解析

参考文章：[Spark2.x RPC解析][Spark2.x RPC] 1、概述在Spark中很多地方都涉及网络通信，比如Spark各个组件间的消息互通、用户文件与J

﹏ヽ暗。殇╰゛Y/ 2023年02月18日 09:54/ 0 赞/ 53 阅读

相关 Spark（Python版）——Spark概述

Spark 概述运行速度快容易使用 Spark本质上计算模式也是MapReduce，但是操作不局限于Map和Reduce两个操作，提供了更多的操作类型。而且Spa

╰半橙微兮°/ 2023年01月19日 07:20/ 0 赞/ 34 阅读

相关 promise（简约）

什么是promise? 1.基本来说，promise是一个容器 2.是一个实例对象（能获取异步的成功与失败状态） 3.是构造函数（自身有all,resolve,rejec

àì夳堔傛蜴生んèń/ 2022年12月24日 05:56/ 0 赞/ 115 阅读

相关同步异步与执行栈（marksheng背诵简约版）

同步（顺序）异步（同时）单线程：同步异步是一种概念，真正在工作的是线程 CPU（纳秒级计算）主要由三大部分组成：逻辑运算单元（ALU）、寄存器、

今天药忘吃喽~/ 2022年11月15日 11:54/ 0 赞/ 144 阅读

相关 [Spark] CentOS6.7安装独立版Spark

1. 系统环境： Linux：CentOS6.7 JDK: jdk-1.8.0\_131 Scala: Scala-2.12.2 Spark: Spark-2.

我就是我/ 2022年06月13日 09:24/ 0 赞/ 236 阅读

相关 spark RPC详解

1，概述个人认为，如果把分布式系统（HDFS, HBASE，SPARK等）比作一个人，那么RPC可以认为是人体的血液循环系统。它将系统中各个不同的组件（如Hbase中的

以你之姓@/ 2022年05月15日 07:16/ 0 赞/ 313 阅读

相关 Spark RPC（简约版）

一：Spark 1.6RPC解析 1，Spark 1.6推出RpcEnv，RPCEndpoint，PRCEndpointRef为核心的新型架构下的RPC通信方式，就目前的实现

痛定思痛。/ 2022年05月15日 07:15/ 0 赞/ 205 阅读

相关 Spark Broadcast内幕解密(简约版)

一：Broadcast彻底解析 1，Broadcast就是将数据从一个节点发送到其他的节点上；例如Driver上有一张表，而Executor中的每个并行的Task（100万个

快来打我*/ 2022年05月15日 06:56/ 0 赞/ 188 阅读