伪分布式的搭建（YARN上运行MapReduce 程序）
伪分布式的搭建（YARN上运行MapReduce 程序）
- 1.配置
- 1.1在当前目录下：
- 1.2配置yarn-env.sh
- 1.3配置yarn-site.xml
- 1.4配置：mapred-env.sh
- 1.5配置： (对mapred-site.xml.template重新命名为) mapred-site.xml
- 2.启动集群
- 2.1在当前目录下
- 2.2确保NameNode和DataNode已经启动
- 2.3启动ResourceManager
- 2.4启动NodeManager
- 2.5查看启动情况
- 3.测试
- 3.1YARN的浏览器页面查看
- 3.2如果文件系统上存在output文件则删除
- 3.3执行MapReduce程序
- 3.4查看运行结果
1.配置
1.1在当前目录下：
1.2配置yarn-env.sh
执行命令：vim yarn-env.sh
添加如下文本：export JAVA_HOME=/opt/module/jdk1.8.0_144
1.3配置yarn-site.xml
执行如下命令：vim yarn-site.xml
在其中添加：
<!-- reducer获取数据的方式 --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- 指定YARN的ResourceManager的地址 --><property><name>yarn.resourcemanager.hostname</name><value>hadoop101</value></property>
1.4配置：mapred-env.sh
执行命令：vim mapred-env.sh
添加如下文本：export JAVA_HOME=/opt/module/jdk1.8.0_144
1.5配置： (对mapred-site.xml.template重新命名为) mapred-site.xml
先执行命令：mv mapred-site.xml.template mapred-site.xml
再执行命令:vim mapred-site.xml
添加如下文本：
<!-- 指定MR运行在YARN上 --><property><name>mapreduce.framework.name</name><value>yarn</value></property>
2.启动集群
2.1在当前目录下
2.2确保NameNode和DataNode已经启动
执行命令：jps
2.3启动ResourceManager
执行命令：sbin/yarn-daemon.sh start resourcemanager
2.4启动NodeManager
执行命令：sbin/yarn-daemon.sh start nodemanager
2.5查看启动情况
执行命令：jsp
3.测试
3.1YARN的浏览器页面查看
在浏览器输入：http://\[服务器ip地址\].101:8088/cluster
3.2如果文件系统上存在output文件则删除
执行命令：bin/hdfs dfs -rm -R /user/lsl/output
3.3执行MapReduce程序
执行命令：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/lsl/input /user/lsl/output
3.4查看运行结果
执行命令：bin/hdfs dfs -cat /user/lsl/output/*
版权声明：本博客为记录本人自学感悟，转载需注明出处！
https://me.csdn.net/qq_39657909
浅浅的花香味﹌
╰+哭是因爲堅強的太久メ
￡神魔★判官ぃ
红太狼
「爱情、让人受尽委屈。」
还没有评论，来说两句吧...