centos 6.5中安装hadoop2.2

雨点打透心脏的1/2处 2021-10-29 15:56 346阅读 0赞

1.配置集群机器之间ssh免密码登录

(1)

**ssh-keygen -t dsa -P '' -f ~/.ssh/id\_dsa**

将id\_dsa.pub 公钥 加入授权的key中去

这条命令的功能是把公钥加到用于认证的公钥文件中，这里的authorized\_keys 是用于认证的公钥文件

(2)

**cat ~/.ssh/id\_dsa.pub >> ~/.ssh/authorized\_keys**

(3)

这样就把登陆本机的密钥加入公钥之中，以后登陆本机就无需输入密码了，但是集群之间还是不能免密码登陆，我们还要把集群之中其他机器登陆的密钥文件 id\_dsa.pub加入authorized\_keys之中。

我们集群的组成是3台机器，分别是master，slave1，slave2，我们在3台主机上执行上述命令，这样集群中每台主机都生成了id\_dsa.pub文件，我们将slave1与slave2主机的id\_dsa.pub文件内容都加入master主机的authorized\_keys文件中，处理之后，master主机的authorized\_keys文件就像这样：

ssh-dss AAAAB3NzaC1kc3MAAACBAKpCe9woQHMTehKLJA+6GdseAMPGnykirGIzbqqwhU/dHVNMyaxwGrK42c0Sxrtg9Q/zeaAmvbtxjmtVIJ9EImWGH7U0/ijs+PVspGpp1RZoI+5eSBwCUDRF93yT9/hVm/X9mP+k/bETwC7zi1mei+ai/V6re6fTelwS9dkiYHsfAAAAFQCoai5Gh74xcauX8ScXqCZK8FOHVwAAAIAajMwOhEnRSANAtjfFo0Fx2Dhq8VZqGlJzT2xqKQv0VkxqJgE8WNv4IMIIehdhl0kSFE6640zi3B2CZ3muTQxNOK4kxWxi36HhffvLpzcVrme6HVhOGnZFrbqpmo0cLZdK99aMF/TkEF2UhRb6pL2QWAyZgIrZbWm5iGq8W47UsgAAAIAGB3DfhF9GjnrZKIIsIeSrETo1ebJfZK1z7hf3CIHWb51I+gNHVtLZuuljeLIS8oTtKu0IZcI3zvCWWGi+anAhAK+9N/VWppzC75q7Tp+XPw0OAwHeC7OjHnj4oIUYnV8+QQDgK51njl8pwQNcW5ytAr1GXMxfPnq1Do29JW5FDQ== [root@master][root_master]

ssh-dss AAAAB3NzaC1kc3MAAACBAJN2NYZap/VXLECMgCFXWyvz2uY9ciLwhOhTqnLeX5giJUWfEvvlzpuxzhrMmJdo40Rn6h/ggf2qgrCDo0NM7aaoo3nG2cW3e1mrpkDgpI+qYrNUwtdZ6a2jWs//gourBa359v/8NQgkdPZXw1JCnE3qzLxJQ2YfTPLFMmV7yv01AAAAFQDoIbKLeHjrtgHuCCT6CHbmV69jJwAAAIEAgj9piFkKUDAVeP60YQy3+CI2RSaU1JBopXOuzLJcYZcsZm+z1+b4HKgF23MsK0nEpl0UgnlicGk6GgiulBHTAMoq/GO6Hn5I1tEtXjDKlWG1PaGoH8Wua6GlziyxrZ/0OKjTdJaOirctVFnD/yyoO3xE8jpGzJwqWuScW44W3zQAAACADGFDYzG34Jr3M+BUkB11vGcv6NKeyU/CP/OSx5LGjQwwwD2f0UdSYEAuqvvkccNB9MB10H0OJCSFNGtbULA8kpDXM03q2VkJcJXQcRx+C9QoHCtF1EaM7GFmSuAEegzvv2UR122qXsxsxZIiJXhKZKzbznTIoipm0KEAqp0cz48= [root@slave1][root_slave1]  
ssh-dss AAAAB3NzaC1kc3MAAACBAOLxtxe3HLhc01szJFXktBJUfjnQwan/EvXcalvHv/DX9jsp5OroEclNE9NLzeL+NU9Ax0Jh7zYbyvQ2xK/lW9syfkJWntdwXcpeTBRrH1NX+dV1LentHyvgAj411LHZLfnkYaztXPWB/ux8JK9F6GB16uVWTG1KjCQwo44q5MtFAAAAFQDw/590kNub5MXnQCMBe4ggfK8dmQAAAIAg2GEhEPak+ETd9UekWL/k5168ng9SmA7sWvABs/dVePFdpP2WY+WNOOmyryvvtpsBfEyAM/NCaTsrMWcGorOdAJ4IKyMDl3QLTolelnjBaC8pcHEZ1igKR2JPGDIQSSlBkvB/Q8+qVmwYlHIQnEoYgGOoEokdtmHVMwOR053/hAAAAIB/kGh9FN4ie+5zRmQLiYTDES3ztm/Ik3UU0fOoNWkdeTVAXvp1xXotkQIkeh3bGFHwGfDUjNtTlrS+qqvAQqCpcj8LR8+pQh0UbxT2rZ1AsGviUVoK8mbosJ3eUjcigCCbF3SChy8TYIU7fsAynavqFubsbmV/6HpbHJNyC1+MAA== [root@slave2][root_slave2]

然后将master主机处理之后的authorized\_keys文件覆盖slave1和slave2主机~/.ssh/ 目录下的authorized\_keys文件，这样集群内部各主机都实现了免密码登陆。重启电脑，我们任意选择一个主机，分别ssh 其他两台主机，如果能够不输入密码就能直接登陆，那么就配置成功了。

2.配置hadoop中的一些配置文件

解压 hadoop安装文件至/cloud目录下，如下：

![689069-20160302084833580-2061061650.png][]

（1）编辑配置文件hadoop-env.sh 指定JAVA\_HOME的目录

首先查看一下JAVA\_HOME的地址 ：

echo $JAVA\_HOME

可以知道JAVA\_HOME的地址如下：

/usr/lib/jvm/java-1.7.0-openjdk.x86\_64

vi /cloud/hadoop-2.2/etc/hadoop/hadoop-env.sh

![689069-20160302084834080-1686907042.png][]

（2）配置文件core-site.xml,添加以下内容：

vi /cloud/hadoop-2.2/etc/hadoop/core-site.xml

<name>fs.default.name</name>

<value>hdfs://master:9000</value>

</property>

<name>dfs.replication</name>

</property>

<name>hadoop.tmp.dir</name>

<value>/cloud/hadoopData</value>

</property>

</configuration>

①设置hdfs的访问地址是 hdfs://110.64.76.130:9000， ②临时文件的存放地址是/cloud/hadoopData， **要注意创建此目录**

（3）配置文件hdfs-site.xml

vi /cloud/hadoop-2.2/etc/hadoop/hdfs-site.xml

添加以下内容：

<name>dfs.replication</name>

</property>

<name>dfs.namenode.name.dir</name>

<value>/cloud/hadoopData/name</value>

</property>

<name>dfs.datanode.data.dir</name>

<value> /cloud/hadoopData/data</value>

</property>

</configuration>

（4）配置文件yarn-site.xml

vi /cloud/hadoop-2.2/etc/hadoop/yarn-site.xml

添加以下内容：

<?xml version="1.0"?>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8031</value>

<description>host is the hostname of the resource manager and

port is the port on which the NodeManagers contact the Resource Manager.

</description>

</property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

<description>host is the hostname of the resourcemanager and port is the port

on which the Applications in the cluster talk to the Resource Manager.

</description>

</property>

<name>yarn.resourcemanager.scheduler.class</name>

<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>

<description>In case you do not want to use the default scheduler</description>

</property>

<name>yarn.resourcemanager.address</name>

<value>master:8032</value>

<description>the host is the hostname of the ResourceManager and the port is the port on

which the clients can talk to the Resource Manager. </description>

</property>

<name>yarn.nodemanager.address</name>

<description>the nodemanagers bind to this port</description>

</property>

<name>yarn.nodemanager.resource.memory-mb</name>

<description>the amount of memory on the NodeManager in GB</description>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce\_shuffle</value>

<description>shuffle service that needs to be set for Map Reduce to run </description>

</property>

</configuration>

(5)配置文件 slaves

修改成以下内容：

slave1

slave2

3.将hadoop添加到环境变量

在/etc/profile文件中添加以下内容，并且更新系统配置。

export HADOOP\_HOME=/cloud/hadoop-2.2

expoer PATH=$PATH:$JAVA\_HOME/bin:$HADOOP\_HOME/bin:$HADOOP\_HOME/sbin

执行下述命令，使环境变量设置生效

**source /etc/profile**

4.将hadoop安装配置文件复制分发到集群的其他主机上

cd /cloud

scp -r hadoop-2.2 root@slave1:/cloud

scp -r hadoopData root@slave1:/cloud

scp -r hadoop-2.2 root@slave2:/cloud

scp -r hadoopData root@slave2:/cloud

5.格式化hdfs文件系统

以下操作在master主机上进行

cd /cloud/bin

hdfs namenode -format

（只需运行一次）

6. 启动每个hadoop节点上的hadoop服务

cd /cloud/hadoop-2.2/sbin

master:

./start-dfs.sh

./start-yarn.sh

slave1与slave2:

在Hadoop 2.x中，MapReduce Job不需要额外的daemo

n进程，在Job开始的时候，NodeManager会启动一个MapReduce Application Master（相当与一个精简的JobTracker），Job结束的时候自动被关闭。

**所以无需在slave1和slave2执行命令来启动节点。**

7.测试hadoop 集群

可以用浏览器打开NameNode, ResourceManager和各个NodeManager的web界面，

\- NameNode web UI, [http://master:50070/][http_master_50070]

\- ResourceManager web UI, [http://master:8088/][http_master_8088]

\- NodeManager web UI, [ http://slave01:8042][http_slave01_8042]

还可以启动JobHistory Server，能够通过Web页面查看集群的历史Job，执行如下命令：

mr-jobhistory-daemon.sh start historyserver

默认使用19888端口，通过访问[http://master:19888/][http_master_19888]查看历史信息。

终止JobHistory Server，执行如下命令：

mr-jobhistory-daemon.sh stop historyserver

9.运行wordcount示例程序

hdfs dfs -mkdir /user

hdfs dfs -mkdir /user/root 用于创建用户文件夹，以后如果不指明路径，默认存储在用户目录下

hdfs dfs -put ./test.txt input 将本地目录中的test.txt 文件复制到用户路劲下作为input文件

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount input output

hdfs dfs -cat output/\*

![689069-20160302084834486-1961463205.png][]

10.停止运行hadoop集群

在master上执行：

cd /cloud/hadoop-2.2/sbin

./stop-yarn.sh

./stop-dfs.sh

转载于:https://www.cnblogs.com/zhoudayang/p/5233557.html

[root_master]: mailto:root@master
[root_slave1]: mailto:root@slave1
[root_slave2]: mailto:root@slave2
[689069-20160302084833580-2061061650.png]: /images/20211029/0925aaf5be004c928a299f275f7c9460.png
[689069-20160302084834080-1686907042.png]: /images/20211029/925c29a1be4e4a588a1bea926dbf6d5b.png
[http_master_50070]: http://master:50070/
[http_master_8088]: http://master:8088/
[http_slave01_8042]: http://slave01:8042/
[http_master_19888]: http://master:19888/
[689069-20160302084834486-1961463205.png]: /images/20211029/c1ca3d0484844a02b1ad24db9aa9ec32.png