（集群）搭建Hadoop+Hbase+hive+Spark（详解版）

「爱情、让人受尽委屈。」 2023-09-23 21:32 128阅读 0赞

## （集群）搭建Hadoop+Hbase+hive+Spark（详解版） ##

本教程是已经搭建好Hadoop集群

Hadoop+Hbase集群：
    https://blog.csdn.net/qq_46138492/article/details/128590916
    
    Hadoop+Hbase+Hive集群：
    https://blog.csdn.net/qq_46138492/article/details/128590966

### 0.官网下载 ###

[Downloads | Apache Spark](https://spark.apache.org/downloads.html)
    
    [历史版本 spark (apache.org)](https://archive.apache.org/dist/spark/)

### 1.上传文件包 ###

*  工具上传
 *  命令上传：`scp -r spark-2.4.5-bin-hadoop2.7.tgz user@192.168.10.130:/home/user`

### 2.解压，建目录，移动，改名，赋权 ###

解压：`tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz`

建目录： `sudo mkdir /usr/local/spar`

移动： `sudo mv spark-2.4.5-bin-hadoop2.7 /usr/local/spark/`

改名：

cd /usr/local/spark
    
    sudo mv spark-2.4.5-bin-hadoop2.7 spark-2.4.5\

赋权：`sudo chown -R user:user spark-2.4.5/`

### 3.配置 ###

#### 3.1 环境变量 ####

sudo vim /etc/profile
    
    export SPARK_HOME=/usr/local/spark/spark-2.4.5
    export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
    
    source  /etc/profile

#### 3.2 修改配置文件 ####

cd /usr/local/spark/spark-2.4.5/conf
    
    # 拷贝模板文件
    cp spark-defaults.conf.template spark-defaults.conf 
    cp spark-env.sh.template spark-env.sh 
    cp slaves.template slaves

##### 修改 spark-defaults.conf #####

`vim spark-defaults.conf`

spark.master                     spark://Master:7077
    spark.serializer                 org.apache.spark.serializer.KryoSerializer
    spark.driver.memory              1g
    spark.executor.memory            1g

##### 修改spark-env.sh #####

`vim spark-env.sh`

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_351
    export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.3
    export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-3.1.3/etc/hadoop
    export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/hadoop-3.1.3/bin/hadoop classpath)
    export SPARK_MASTER_HOST=Master
    export SPARK_MASTER_PORT=7077

##### 修改slaves文件 #####

`vim slaves`

Master
    slave1
    slave2

### 4.分发到其他节点 ###

cd /usr/local
    tar -zcf ~/spark.master.tar.gz  ./spark
    
    复制：
    scp -r spark.master.tar.gz user@slave1:/home/user
    scp -r spark.master.tar.gz user@slave2:/home/user
    
    slave1  slave2节点上：
    sudo rm -r  /usr/local/spark               #如果有删除旧的
    sudo tar -zxvf  ~/spark.master.tar.gz  -C /usr/local
    sudo chown -R user:user /usr/local/spark      添加权限

#### 5.启动Spark集群 ####

配置了环境变量，可以在任意目录执行启动命令

/usr/local/spark/spark-2.4.5/sbin/start-all.sh

#### 5.1在web界面查看Spark UI ####

在`Linux`系统上浏览器上查看`Spark UI`：  
`http://192.168.10.130:8080/`

![在这里插入图片描述][1127566a860d4f70abdc3d7261cfc6bd.png_pic_center]

#### 8、测试 ####

运行`SparkPI`进行案例测试：

spark-submit --class org.apache.spark.examples.SparkPi \
    $SPARK_HOME/examples/jars/spark-examples_2.11-2.4.5.jar 10

## Yarn模式 ##

上面默认是用standalone模式启动的服务，如果想要把资源调度交给yarn来做，则需要配置为yarn模式：  
需要启动的服务：hdfs服务、yarn服务  
需要关闭 Standalone 对应的服务(即集群中的Master、Worker进程)。  
在Yarn模式中，Spark应用程序有两种运行模式：  
yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出  
yarn-cluster：Driver程序运行在由RM启动的 AppMaster中，适用于生产环境  
二者的主要区别：Driver在哪里！

#### 1、开启 hdfs、yarn服务 ####

start-dfs.sh
    start-yarn.sh

#### 2、修改[Hadoop][]中的 yarn-site.xml 配置 ####

在`/usr/local/hadoop/hadoop-3.1.3/etc/hadoop/yarn-site.xml`中增加如下配置，然后分发到集群其他节点，重启`yarn` 服务。

`vim /usr/local/hadoop/hadoop-3.1.3/etc/hadoop/yarn-site.xml`

<property>
            <name>yarn.nodemanager.pmem-check-enabled</name>
            <value>false</value>
    </property>
    <property>
            <name>yarn.nodemanager.vmem-check-enabled</name>
            <value>false</value>
    </property>

**说明**：  
yarn.nodemanager.pmem-check-enabled ： 是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true。  
yarn.nodemanager.vmem-check-enabled ：是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true。

#### 3、修改Spark配置，分发到集群 ####

spark-env.sh 中这一项必须要有
    
    cd /usr/local/spark/spark-2.4.5/conf
    
    添加如下内容
    export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-3.1.3/etc/hadoop
    
    spark-defaults.conf(以下是优化)
    
    vim spark-defaults.conf
    添加如下内容
    
    spark.yarn.jars                    hdfs://Master:8020/spark-jars/*.jar

#### 4、向hdfs上传spark纯净版jar包 ####

下载spark-2.4.5-bin-without-hadoop.tgz  
下载地址：https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-without-hadoop.tgz

上传并解压tar -zxvf spark-2.4.5-bin-without-hadoop.gz

`tar -zxvf spark-2.4.5-bin-without-hadoop.gz`

**上传spark纯净版jar包到hdfs**

hdfs dfs -mkdir /spark-jars
    hdfs dfs -put spark-2.4.5-bin-without-hadoop/jars/* /spark-jars

**说明**：  
1）Spark任务资源分配由Yarn来调度，该任务有可能被分配到集群的任何一个节点。所以需要将spark的依赖上传到hdfs集群路径，这样集群中任何一个节点都能获取到，依此达到Spark集群的HA。  
2） Spark纯净版jar包，不包含hadoop和hive相关依赖，避免和后续安装的Hive出现兼容性问题。

#### 5、测试 ####

记得，先把Master与worker进程停掉，否则会走standalone模式。停掉standalone模式的服务

最好在配置完hadoop和spark之后全部停掉，再重启

`stop-all.sh`

**client运行模式**

\#client

spark-submit --master yarn \
    --deploy-mode client \
    --class org.apache.spark.examples.SparkPi \
    $SPARK_HOME/examples/jars/spark-examples_2.11-2.4.5.jar 20

这种模式可以看见：程序计算的结果（即可以看见计算返回的结果）！

**cluster运行模式**

#cluster
    
    spark-submit --master yarn \
    --deploy-mode cluster \
    --class org.apache.spark.examples.SparkPi \
    $SPARK_HOME/examples/jars/spark-examples_2.11-2.4.5.jar 20

这种模式就看不见最终的结果！

**启动Hadoop**

/usr/local/hadoop/hadoop-3.1.3/sbin/start-all.sh

**启动spark**

/usr/local/spark/spark-2.4.5/sbin/start-all.sh

**Spark UI**：http://192.168.10.130:8080/

**NameNode 和 Datanode UI**： http://192.168.10.130:9870

**YARM UI**： http://192.168.10.130:8088/cluster

**关闭spark**

/usr/local/spark/spark-2.4.5/sbin/stop-all.sh

**关闭Hadoop**

/usr/local/hadoop/hadoop-3.1.3/sbin/stop-all.sh

### 完成Spark集群搭建啦！！！ ###

[1127566a860d4f70abdc3d7261cfc6bd.png_pic_center]: https://img-blog.csdnimg.cn/1127566a860d4f70abdc3d7261cfc6bd.png#pic_center
[Hadoop]: https://so.csdn.net/so/search?q=Hadoop&spm=1001.2101.3001.7020