搭建完全分布式的hadoop

╰+哭是因爲堅強的太久メ 2022-05-19 08:53 198阅读 0赞

下面博文已更新，请移步 ↑

用于测试，我用4台虚拟机搭建成了hadoop结构

![13134833-69706f5f43ef4920861cab670e300b47.jpg][]

我用了两个台式机。一个xp系统，一个win7系统。每台电脑装两个虚拟机，要不然内存就满了。

**1、安装虚拟机环境**

Vmware，收费产品，占内存较大。

或

Oracle的VirtualBox，开源产品，占内存较小，但安装ubuntu过程中，重启会出错。

我选Vmware。

**2、安装操作系统**

Centos，红帽开源版，接近于生产环境。

Ubuntu，操作简单，方便，界面友好。

我选Ubuntu12.10.X 32位

**3、安装一些常用的软件**

在每台linux虚拟机上，安装：vim，ssh

sudo apt-get install vim

sudo apt-get install ssh

在客户端，也就是win7上，安装SecureCRT，Winscp或putty，这几个程序，都是依靠ssh服务来操作的，所以前提必须安装ssh服务。

service ssh status 查看ssh状态。如果关闭使用service ssh start开启服务。

SecureCRT，可以通过ssh远程访问linux虚拟机。

winSCP或putty，可以从win7向linux上传文件。

**4、修改主机名和网络配置**

主机名分别为：master，host2，host3，host4。

sudo vim /etc/hostname

网络配置，包括ip地址，子网掩码，DNS服务器。如上图所示。

**5、修改/etc/hosts文件。**

修改每台电脑的hosts文件。

hosts文件和windows上的功能是一样的。存储主机名和ip地址的映射。

在每台linux上，sudo vim /etc/hosts 编写hosts文件。将主机名和ip地址的映射填写进去。编辑完后，结果如下：

![13141808-ecfcb490235c428092f5857d8e00e7bd.jpg][]

**6、配置ssh，实现无密码登陆**

无密码登陆，效果也就是在master上，通过 ssh host2 或 ssh host3 或 ssh host4 就可以登陆到对方计算机上。而且不用输入密码。

四台虚拟机上，使用   ssh-keygen -t rsa    一路按回车就行了。

刚才都作甚了呢？主要是设置ssh的密钥和密钥的存放路径。 路径为~/.ssh下。

打开~/.ssh 下面有三个文件

authorized\_keys，已认证的keys

id\_rsa，私钥

id\_rsa.pub，公钥   三个文件。

下面就是关键的地方了，（我们要做ssh认证。进行下面操作前，可以先搜关于认证和加密区别以及各自的过程。）

①在master上将公钥放到authorized\_keys里。命令：sudo cat id\_rsa.pub >> authorized\_keys

②将master上的authorized\_keys放到其他linux的~/.ssh目录下。

命令：sudo scp authorized\_keys hadoop@10.10.11.192:~/.ssh

sudo scp authorized\_keys 远程主机用户名@远程主机名或ip:存放路径。

③修改authorized\_keys权限，命令：chmod 644 authorized\_keys

④测试是否成功

ssh host2 输入用户名密码，然后退出，再次ssh host2不用密码，直接进入系统。这就表示成功了。

**7、上传jdk，并配置环境变量。**

通过winSCP将文件上传到linux中。将文件放到/usr/lib/java中，四个linux都要操作。

解压缩：tar -zxvf jdk1.7.0\_21.tar

设置环境变量 sudo vim ~/.bashrc

在最下面添加：

export JAVA\_HOME = /usr/lib/java/jdk1.7.0\_21

export PATH = $JAVA\_HOME/bin:$PATH

修改完后，用source ~/.bashrc让配置文件生效。

**8、上传hadoop，配置hadoop**

通过winSCP，上传hadoop，到/usr/local/下，解压缩tar -zxvf hadoop1.2.1.tar

再重命名一下，sudo mv hadoop1.2.1 hadoop

这样目录就变成/usr/local/hadoop

**①**修改环境变量，将hadoop加进去（最后四个linux都操作一次）

sudo vim ~/.bashrc

export HADOOP\_HOME = /usr/local/hadoop

export PATH = $JAVA\_HOme/bin:$HADOOP\_HOME/bin:$PATH

修改完后，用source ~/.bashrc让配置文件生效。

**②**修改/usr/local/hadoop/conf下配置文件

hadoop-env.sh，

![13150338-5dc358a4104940c6803ddd7cbb380463.jpg][]

（上面这张图片，有一些问题，只export JAVA\_HOME进去就可以了，不用export HADOOP\_HOME和PATH了 ）

core-site.xml，

![13150455-b0ec81400b3e4ceba5f87e8f0c29790b.jpg][]

hdfs-site.xml，

![13150619-dc4cf08002e34f5fbc96341c8abbcb8f.jpg][]

mapred-site.xml，

![13150724-aba149169f7741109e96e3e5afe0adfd.jpg][]

master，

![13150828-b57df97ef59d41a28c6044188c746470.jpg][]

slave，

![13150910-c4baade655ae4e9485baa2f8561b882d.jpg][]

上面的hadoop-env.sh，core-site.xml，mapred-site.xml，hdfs-site.xml，master，slave几个文件，在四台linux中都是一样的。

配置完一台电脑后，可以将hadoop包，直接拷贝到其他电脑上。

**③**最后要记得，将hadoop的用户加进去，命令为

sudo chown -R hadoop:hadoop hadoop

sudo chown -R 用户名@用户组 目录名

**④**让hadoop配置生效

source hadoop-env.sh

**⑤**格式化namenode，只格式一次

hadoop namenode -format

**⑥**启动hadoop

切到/usr/local/hadoop/bin目录下，执行 start-all.sh启动所有程序

**⑦**查看进程，是否启动

jps

master，

![13152105-0178918f3d234fefbc1003f3bd452749.jpg][]

host2，

![13152211-f63c6067711445f68abafbe82e400c13.jpg][]

host3，host4，的显示结果，与host2相同。

[13134833-69706f5f43ef4920861cab670e300b47.jpg]: /images/20220519/b6a373d939d14855b7313579570ac88e.png
[13141808-ecfcb490235c428092f5857d8e00e7bd.jpg]: /images/20220519/2e649343621f48be975fa5b7da6f14a7.png
[13150338-5dc358a4104940c6803ddd7cbb380463.jpg]: /images/20220519/b1054aeb094d4e4caee214e3304d704a.png
[13150455-b0ec81400b3e4ceba5f87e8f0c29790b.jpg]: /images/20220519/65ae472ad4c7452784aca299e5100922.png
[13150619-dc4cf08002e34f5fbc96341c8abbcb8f.jpg]: /images/20220519/c6de5a2645594f8a8909725e4625667d.png
[13150724-aba149169f7741109e96e3e5afe0adfd.jpg]: /images/20220519/0fb35fb057af477598e9fcde50923906.png
[13150828-b57df97ef59d41a28c6044188c746470.jpg]: /images/20220519/cf891a0c2e4f49dea961dca1e863f8b3.png
[13150910-c4baade655ae4e9485baa2f8561b882d.jpg]: /images/20220519/7c6ee727159b4c4ab372d9b6e405c92e.png
[13152105-0178918f3d234fefbc1003f3bd452749.jpg]: /images/20220519/b2ca459ad69c48b3a2fb580a586dae1f.png
[13152211-f63c6067711445f68abafbe82e400c13.jpg]: /images/20220519/349107f052f24f9dbf8e722e8083f1cb.png