hadoop安装教程

柔情只为你懂 2022-05-31 01:21 213阅读 0赞

## 前言 ##

最近刚接触hadoop，在hadoop的安装及配置过程中遇到一些问题，在学习的过程中，发现网上现有的一些文章还是有些坑没有解释清楚或者有问题，导致走一些弯路，因此记录下自己安装配置的过程，方便像我一样的小白能够快速上手hadoop。

## ssh的配置和验证 ##

1.确认mac的远程登录是否开启  
　　　　系统偏好设置->共享->勾选远程登录.  
当远程登录状态为打开且为绿灯时，成功开启，ok,进行下一步.  
2.用dsa密钥认证来生成一对公钥和私钥：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

3.将生成的公钥加入到用于认证的公钥文件中：

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

4.接下来测试一下是否配置成功

ssh localhost

![这里写图片描述][SouthEast]

如果显示如上图所示，那么ssh配置成功。

## 安装jdk ##

安装jdk，在这里就不用多啰嗦了.提醒一下的是，务必要安装1.7以上的jdk（查一下要安装的hadoop支持什么版本的jdk）。

## 安装hadoop ##

当jdk安装完毕以及ssh配置都成功之后我们现在可以来着手进行Hadoop的安装了。

Hadoop下载地址（以2.7.3版本为例）:  
[https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/][https_archive.apache.org_dist_hadoop_common_hadoop-2.7.3]

下载对应的.tar.gz文件即可，然后将文件解压。（注意：要记住解压文件的位置）

然后建立目录(**先进入刚刚解压的文件夹建立目录**，用于之后的存储)：

**这步就是一个最容易出的问题，好多网上文章中的问题都是由于没有建立目录导致配置文件出错**

cd ~/hadoop-2.7.3
    mkdir tmp
    cd tmp
    mkdir hdfs
    mkdir hdfs/data
    mkdir hdfs/name

## hadoop的配置 ##

所需要修改的配置文件都在hadoop-2.7.3/etc/hadoop目录下

1.hadoop－env.sh

/usr/libexec/java\_home -V,查看jdk版本及路径：

/Library/Java/JavaVirtualMachines/jdk1.8.0_102.jdk/Contents/Home

然后在hadoop－env.sh中添加：

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_102.jdk/Contents/Home

2.core-site.xml

core-site.xml是hadoop的全局配置文件  
该配置文件用于指明namenode的主机名和端口，hadoop临时目录

<configuration>
    
        
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://0.0.0.0:9000</value>
        </property>
        
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/Users/jjc/Documents/hadoop-2.7.3/tmp</value>
        </property>
    
    </configuration>

**fs.defaultFS**：默认文件系统的名称，URI形式，默认是本地文件系统  
**hadoop.tmp.dir**：Hadoop的临时目录，其他目录会基于此路径，是本地目录

3.hdfs-site.xml

.hdfs-site.xml是HDFS的配置文件

<configuration>
            <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    　　 <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/Users/jjc/Documents/hadoop-2.7.3/tmp/hdfs/name</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/Users/jjc/Documents/hadoop-2.7.3/tmp/hdfs/data</value>
        </property>
        <property>
            <name>dfs.webhdfs.enabled</name>
            <value>true</value>
        </property>
        <property>
            <name>dfs.http.address</name>
            <value>0.0.0.0:50070</value>
        </property>
    </configuration>

默认副本数3，修改为1

**dfs.namenode.name.dir**：本地磁盘目录，用于NameNode存储fsimage文件，多个目录用逗号隔开。

**dfs.datanode.data.dir**：本地磁盘目录，HDFS存储数据块的地方，可以是逗号分隔开的目录列表。

**dfs.webhdfs.enabled**：指定是否在NameNode和DataNode上开启WebHDFS功能。

4.yarn-site.xml

yarn-site.xml是YARN的配置文件

<configuration>
    
    
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    
    </configuration>

**yarn.nodemanager.aux-services**：NodeManager上运行的附属服务，需配置成mapreduce\_shuffle，才可以运行MapReduce程序。

5.mapred-site.xml

mapred-site.xml是MapReduce的配置文件

<configuration>
    
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    
    </configuration>

**mapreduce.framework.name**：设置MapReduce的执行框架为yarn

## 配置hadoop环境变量 ##

打开你的终端（terminal），执行以下命令：

//在etc目录下创建profile并进入编辑模式
    sudo vim /etc/profile  
    //＝后面接的是你的hadoo目录所在的路径，不知道路径的同学可以直接将文件拖到终端就可以显示该目录的绝对路径了
    export HADOOP_HOME=/Users/jjc/Documents/hadoop-2.7.3/hadoop 
    //然后退出编辑模式，这个操作自己去了解一下
    //执行刚才写的profile，使profile生效
    source /etc/profile

## 运行hadoop ##

打开终端，跟着以下命令一步一步走就可以了（这里需要注意的是在上步中你设置的HADOOP\_HOME这个路径，如果你设置的文件夹不是hadoop层，不同路径以下指令会不同。。。实际就是为了执行以下脚本，上个步骤不设置路径，直接绝对路径执行也是可以的）

//进入hadoop安装目录
    cd $HADOOP_HOME
    //初始化namenode
    bin/hdfs namenode -format
    //启动hdfs
    sbin/start-dfs.sh 
    //启动yarn
    sbin/start-yarn.sh

当启动完hdfs以及yarn可以打开浏览器，输入以下地址看是否能进入对应的页面  
启动完hdfs访问: [http://localhost:50070][http_localhost_50070]  
对应的页面:

![这里写图片描述][SouthEast 1]

启动完yarn访问: [http://localhost:8088][http_localhost_8088]  
对应的页面:

![这里写图片描述][SouthEast 2]

如果你能进入这两个页面，ok，那么你的hadoop以安装成功。

jps,显示当前所有java进程pid的命令,适合在linux/unix平台上简单察看当前java进程的一些简单情况：

![这里写图片描述][SouthEast 3]

## hadoop的停止 ##

如果要停止Hadoop运行可以使用以下命令（注意路径问题，需要在脚本所在路径）：

stop-all.sh

##  ##

[SouthEast]: /images/20220531/df8a3a84ef6c454cbf15253e9a22c288.png
[https_archive.apache.org_dist_hadoop_common_hadoop-2.7.3]: https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/
[http_localhost_50070]: http://localhost:50070
[SouthEast 1]: /images/20220531/816e98bee14c48fba4416eb85411345d.png
[http_localhost_8088]: http://localhost:8088
[SouthEast 2]: /images/20220531/4e16f6c43f484d9ab7256f0017699dde.png
[SouthEast 3]: /images/20220531/9231db5095454c0d8429d79499ed1519.png