Hadoop2.8 安装心得

今天药忘吃喽~ 2022-06-16 13:52 173阅读 0赞

一、从下载badoop、安装jdk、配置ssl无密码登录等内容都是一步步的按照《细细品味hadoop》来进行

区别在于，细细品味是以1.x为标杆编写的。所以关于2.x的配置文件的写法，参考本文而非《细细品味》

二、2.x的最大进步在于，引入了yarn，在这个系统中，mapreduce成为了它的一个组件而存在，并且是可替换的组件。比如使用spark。所以配置的过程中，需要注意yarn的相关配置文件的使用

三、具体配置共有7个，包含以下内容

~/hadoop/etc/hadoop/hadoop-env.sh ~/hadoop/etc/hadoop/yarn-env.sh ~/hadoop/etc/hadoop/slaves ~/hadoop/etc/hadoop/core-site.xml ~/hadoop/etc/hadoop/hdfs-site.xml ~/hadoop/etc/hadoop/mapred-site.xml ~/hadoop/etc/hadoop/yarn-site.xml

1：hadoop-env.sh

该文件是hadoop运行基本环境的配置，需要修改的为java虚拟机的位置。

故在该文件中修改JAVA\_HOME值为本机安装位置（如，export JAVA\_HOME=/usr/local/java/jdk1.7.0\_79）

![Center][]

2：yarn-env.sh

该文件是yarn框架运行环境的配置，同样需要修改java虚拟机的位置。

在该文件中修改JAVA\_HOME值为本机安装位置（如，export JAVA\_HOME=/usr/local/java/jdk1.7.0\_79）

![Center 1][]

3：slaves

该文件里面保存所有slave节点的信息，我这里写的是ip

![Center 2][]

说明：slaves文件中可以写ip地址，也可以写成/etc/hosts里从机的主机名，任选一种即可

比如写主机名可以是这个形式：xxCentosTwo、xxCentosThree

![Center 3][]

4：core-site.xml

这个是hadoop的核心配置文件，这里需要配置的就这两个属性，fs.default.name配置了hadoop的HDFS系统的命名，位置为主机的9000端口；hadoop.tmp.dir配置了hadoop的tmp目录的根位置。需要新建一个tmp目录

![Center 4][]

这里有个最大的问题，就是使用了ip地址。这样维护性比较差，当你的ip地址修改的话，如果这里每一个地方都写ip，那么每一个配置文件都要修改，工作量巨大。还是写主机名更方便。

![Center 5][]

5：hdfs-site.xml

这个是hdfs的配置文件，dfs.http.address配置了hdfs的http的访问位置；dfs.replication配置了文件块的副本数，一般不大于从机的个数。这部分我不明白

![Center 6][]

6：mapred-site.xml

这个是mapreduce任务的配置，由于hadoop2.x使用了yarn框架，所以要实现分布式部署，必须在mapreduce.framework.name属性下配置为yarn。mapred.map.tasks和mapred.reduce.tasks分别为map和reduce的任务数，至于什么是map和reduce，可参考其它资料进行了解。

其它属性为一些进程的端口配置，均配在主机下。

![Center 7][]

7：yarn-site.xml

该文件为yarn框架的配置,主要是一些任务的启动位置

![Center 8][]

四、至此，配置性内容都已完成。后面就是启动和验证

在任意位置执行dfs namenode -format(因为按照《细细品味》中的操作，已经把hdfs这些命令配置到环境变量中了，所以不需要在前面加上./bin/这些东西了。)这一步是格式化namenode

然后在 /usr/local/hadoop/sbin/下执行./start-all.sh。启动所有该启动的内容即可，如果过程中出现停止在那里不动的，可以考虑是否因为ssh的问题，可以先执行ssh 到其他的datanode去试一下之前配置的无密码ssh是否正确。如果正确并且也验证过这个无密码的ssh的话，这个./start-all.sh应该会正常执行完毕。

如果有其他异常的话，可以参考logs中的日志。

正常启动后，namenode上面运行的进程有：namenode secondarynamenode resourcemanager

而datanode上面运行的进程有：datanode nodemanager

检查启动结果：

1、查看集群状态：hdfs dfsadmin –report

2、查看文件块：hdfsfsck / -files -blocks

3、查看hdfs：http://192.168.122.11:50070（主机IP）

4、查看MapReduce：http://192.168.122.11:8088(主机IP)

[Center]: /images/20220616/08b9762b2ae540c3a2494f056651cf49.png
[Center 1]: /images/20220616/c997a006aedb46998fe403d6d971e4f8.png
[Center 2]: /images/20220616/6a8eec7f4e024723b5a982250eff8a35.png
[Center 3]: /images/20220616/bc058e04412a4c938309c3eab6222c36.png
[Center 4]: /images/20220616/3b7beb9aa82144e0b3c7119f0b748cd8.png
[Center 5]: /images/20220616/4e712cecb07c4168b2254c6984e33c59.png
[Center 6]: /images/20220616/f9dad8c32e7842cd834bd9c1636a1f58.png
[Center 7]: /images/20220616/db1e87d51d5242dcbc0ef2f3f4ee8137.png
[Center 8]: /images/20220616/4697e83ceac7482bbbd6bc60fd3a2a50.png