Hadoop安装配置

￡神魔★判官ぃ 2022-06-02 04:24 194阅读 0赞

> 本次实验环境为Ubuntu 16.04.3

1、安装JDK，并配置环境变量，详见[http://blog.csdn.net/u012343297/article/details/78748446][http_blog.csdn.net_u012343297_article_details_78748446]。

2、配置SSH面密码登录

*  先安装ssh

> sudo apt-get install ssh

![这里写图片描述][SouthEast]

*  查看当前用户家目录下是否有.ssh文件
    
    > ls -a /home/lenmon
    
    ![这里写图片描述][SouthEast 1]
 *  没有，手动创建一个
    
    > mkdir /home/lenmon/.ssh

![这里写图片描述][SouthEast 2]

*  生成密钥
    
    > cd ~/.ssh/ \# 若没有该目录，请先执行一次ssh localhost  
    > ssh-keygen -t rsa \# 会有提示，都按回车就可以
    > 
    > ssh-keygen 代表生成密钥；-t(注意区分大小写)表示指定生成的密钥类型；rsa是rsa密钥认证的意思，即密钥类型；

![这里写图片描述][SouthEast 3]

*  把公钥加到用于认证的公钥文件中  
    
    
    > cat ./id\_rsa.pub >> ./authorized\_keys \# 加入授权  
    >   
    > 实际上，在hadoop安装过程中，是否无密码登录是无关紧要的，但是不配置无密码登录，每次启动hadoop，都需要输入密码以登录到每台机器的DataNode上，考虑一般的Hadoop集群动辄数百台或上千台机器，因此一般来说都会配置SSH无密码登录。

3、安装并运行Hadoop

*  下载hadoop的tar包  
    [http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz][http_mirrors.hust.edu.cn_apache_hadoop_common_hadoop-3.0.0_hadoop-3.0.0.tar.gz]
 *  解压hadoop-3.0.0.tar.gz：tar -zxvf hadoop-3.0.0.tar.gz
 *  新建文件夹
    
    > mkdir ./hadoop/tmp  
    > mkdir ./hadoop/hdfs  
    > mkdir ./hadoop/hdfs/data  
    > mkdir ./hadoop/hdfs/name
 *  修改配置文件
    
    > vim ./hadoop/hadoop-3.0.0/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/opt/jdk1.8.0_151

![这里写图片描述][SouthEast 4]

> vim ./hadoop/hadoop-3.0.0/etc/hadoop/core-site.xml

<configuration>
            <property>
                    <name>fs.default.name</name>
                    <value>hdfs://localhost:9000</value>
            </property>
            <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/home/lenmon/hadoop/tmp</value>
            </property>
    </configuration>

> vim ./hadoop/hadoop-3.0.0/etc/hadoop/hdfs-site.xml

<configuration>
            <property>
                    <name>dfs.name.dir</name>
                    <value>/home/lenmon/hadoop/hdfs/name</value>
            </property>
            <property>
                    <name>dfs.data.dir</name>
                    <value>/home/lenmon/hadoop/hdfs/data</value>
            </property> 
            <property>
                    <name>dfs.replication</name>
                    <value>1</value>
            </property>
    </configuration>

> vim ./hadoop/hadoop-3.0.0/etc/hadoop/mapred-site.xml

<configuration>
            <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
            </property>
    </configuration>

> vim ./hadoop/hadoop-3.0.0/etc/hadoop/yarn-site.xml

<configuration>
    
            <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
            </property>
            <property>
                    <name>yarn.resourcemanager.webapp.address</name>
                    <value>localhost:9001</value>
            </property>
    </configuration>

*  格式化Hadoop文件系统HDFS
    
    > ./bin/hdfs namenode -format  
    > ![这里写图片描述][SouthEast 5]
 *  运行Hadoop测试
    
    > start-all.sh  
    > ![这里写图片描述][SouthEast 6]

--------------------

![这里写图片描述][SouthEast 7]

[http_blog.csdn.net_u012343297_article_details_78748446]: http://blog.csdn.net/u012343297/article/details/78748446
[SouthEast]: /images/20220602/f41b126fb575412a9c9dea089f2e8e26.png
[SouthEast 1]: /images/20220602/59c21749fef04026acf1ddd961e92435.png
[SouthEast 2]: /images/20220602/1e22a8a9eb3848659e9e84a57642c60b.png
[SouthEast 3]: /images/20220602/36601058357f4f3a845a323a46067503.png
[http_mirrors.hust.edu.cn_apache_hadoop_common_hadoop-3.0.0_hadoop-3.0.0.tar.gz]: http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz
[SouthEast 4]: /images/20220602/9ff3d677e9664705bd1dc9aab4e1975a.png
[SouthEast 5]: /images/20220602/7c17192f6966403dab06a77cf1e9715a.png
[SouthEast 6]: /images/20220602/ba8b5f18286a4cf4a1c9f97812fcaeb3.png
[SouthEast 7]: /images/20220602/4047e0b698f84495a7d40e630af4e861.png