Spark-Master源码和Master-HA

红太狼 2021-11-26 15:16 286阅读 0赞

# Spark-Master源码和Master-HA #

## 源码 ##

![Master源码图][Master]

### 总结1： ###

Master（startRpcEnvAndEndpoint）的工作主要有2部分组成

一是搭建环境（RpcEnvEndpoint）–> val rpc = RpcEnv.create(…)

在new NettyRpcEnvFactory().create()的nettyEnv.startServer()底层的receivers.offer(data)触发

new NettyRpcEnvFactory().create()的val nettyEnv = new NettyRpcEnv()底层的receivers.take()方法

//val transportContext = new TransportContext(NettyRpcHandler)方法。

二是触发执行 --> val masterEndpoint: RpcEndpointRef = rpcEnv.setupEndpoint(xx.new Master…)

在其底层的 val data:EndpointData = endpoints.get(name) receivers.offer(data)执行

endpoint.onStart()

其中receivers.offer(data)和endpoint.onStart()触发receivers.take()方法完成整个过程

### 总结2： ###

Master执行由两条线组成，其中第一条线又分为2条线，在此分别用1-1,1-2,2表示

1-1 搭建环境 启动线程 线程死循环加载队列 等待onstart触发

1-2 创建Map集合（任务名字，EndpotionData）

2 Master任务触发找到Map集合去匹配类型，触发1-1

开始执行

## Master-HA ##

### 原理 ###

Standalone集群只有一个Master，如果Master挂了就无法提交应用程序，需要给Master进行高可用配置，Master的高可用有两种实现方法: 1使用fileSystem(文件系统) 2zookeeper（分布式协调服务）

fileSystem只有存储功能，可以存储Master的元数据信息，用fileSystem搭建的Master高可用，在Master失败时，需要我们手动启动另外的备用Master，这种方式不推荐使用。

zookeeper有选举和存储功能，可以存储Master的元素据信息，使用zookeeper搭建的Master高可用，当Master挂掉时，备用的Master会自动切换，推荐使用这种方式搭建Master的HA。

### 搭建 ###

1 在主节点spark/conf/spark-env.sh添加 指定ZK，指定ZK节点，指定ZK中存储文件名  
export SPARK\_DAEMON\_JAVA\_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=sxt002:2181,sxt003:2181,sxt004:2181 -Dspark.deploy.zookeeper.dir=/MasterHA"

2 将更改好的/spark-env.sh 分发到另外的2台Worker节点上

3 在其中一台worker节点上 更改spark-env.sh的主节点（原sxt001）改为自身节点

4 主节点spark/sbin启动spark集群 ./start-all.sh

5 更改过的Worker节点在sbin下启动 ./start-master.sh

[rt-all.sh][]

5 更改过的Worker节点在sbin下启动 ./start-master.sh

[Master]: /images/20211126/ab2d4d3bc8b44bc3a50378a890b0bf27.png
[rt-all.sh]: http://rt-all.sh

发表评论取消回复

表情：

评论列表（有 0 条评论，286人围观）

还没有评论，来说两句吧...

相关阅读

相关 Nacos源码环境搭建和源码流程图

Nacos源码环境搭建和源码流程图每天多学一点点~ 话不多说，这就开始吧… 文章目录 Nacos源码环境搭建和源码流程图 1.前言

客官°小女子只卖身不卖艺/ 2023年07月22日 12:27/ 0 赞/ 37 阅读

相关【RocketMQ源码】一、源码下载和安装

目录一、项目搭建和测试 1.1 代码拉取 1.2 源码结构目录 1.3 下载 Maven 依赖 1.4 调试 1.4.1 新建conf文件夹 1.4.2 Nam

淩亂°似流年/ 2023年02月26日 04:19/ 0 赞/ 52 阅读

相关【Spring源码】IOC和AOP源码分析

IOC IOC（Inverse of Control: 反转控制）是一种设计思想，就是将原本在程序中手动创建对象的控制权，交由Spring框架来管理。 IOC 在其他语

我就是我/ 2023年01月10日 11:48/ 0 赞/ 211 阅读

相关 scrapy源码6：deffer和parallel的源码分析

defer scrapy的核心的代码大量用到deffer对象，还有一些并行的东西。这里简单去学习下deffer和并行的方法知识。 twisted.interet.d

小鱼儿/ 2022年12月02日 13:51/ 0 赞/ 200 阅读

相关 CAS和hotspot源码

一、用AtomicInteger.addAndGet(int delta)为分析的切入点 / Atomically adds the given value t

偏执的太偏执、/ 2022年10月10日 09:43/ 0 赞/ 219 阅读

相关 MHA masterha_check_repl 检测过程

MHA部署及配置是否OK，我们可以借助于MHA自带的masterha\_check\_ssh以及masterha\_check\_repl脚本来检测。masterha\

Love The Way You Lie/ 2022年08月07日 16:34/ 0 赞/ 171 阅读

相关 unreachable remote address [akka.tcp://sparkMaster@localhost:7077]解决方法

在linux部署spark集群环境后，在单机模式下启动spark-shell时遇到Tried to associate with unreachable remote addr

ゞ浴缸里的玫瑰/ 2022年08月07日 03:41/ 0 赞/ 159 阅读

相关【Java源码分析】LinkedHashSet和HashSet源码分析

类的定义 public class HashSet<E> extends AbstractSet<E> implements Set<E>, Clon

拼搏现实的明天。/ 2022年07月19日 06:19/ 0 赞/ 311 阅读

相关 C# 教程和源码

C\ 是专业级编程语言。基于.NET框架，C\ (发音： C sharp) 编程语言可以构建宽范围的企业级应用程序。C\的目标在于提供一个简单，安全，先进，面向对象，高性能

待我称王封你为后i/ 2022年05月08日 14:04/ 0 赞/ 192 阅读

相关源码：ThreadPoolExecutor原理和源码分析

我们使用线程池一般是按照下边的规则进行的 private static ThreadPoolExecutor executors = new ThreadPoolEx

快来打我*/ 2021年12月01日 10:50/ 0 赞/ 449 阅读