大数据 - HADOOP3.1.1单机版安装部署

柔情只为你懂 2023-10-12 09:02 64阅读 0赞

#### 下载链接 ####

[官网下载：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz][https_archive.apache.org_dist_hadoop_common_hadoop-3.1.1_hadoop-3.1.1.tar.gz]

#### 安装步骤 ####

###### ① 下载 ######

![在这里插入图片描述][6874e87d107546c8a3c00f630c8b3e24.png]

###### ② 解压 ######

tar -zxvf hadoop-3.1.1.tar.gz

![在这里插入图片描述][c879a0f5741d41bbb1782c2b8c1df7bd.png]

###### ③ 环境变量 ######

在“/etc/profile.d”目录中，创建一个文件 rills-atlas.sh ，内容如下：

### 1. SET HADOOP ENVIRONMENT ###
    HADOOP_HOME=/opt/software/hadoop-3.1.1
    PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    export HADOOP_HOME PATH

###### ④ 验证 ######

[root@hm output]# hadoop version
    Hadoop 3.1.1
    Source code repository https://github.com/apache/hadoop -r 2b9a8c1d3a2caf1e733d57f346af3ff0d5ba529c
    Compiled by leftnoteasy on 2018-08-02T04:26Z
    Compiled with protoc 2.5.0
    From source with checksum f76ac55e5b5ff0382a9f7df36a3ca5a0
    This command was run using /opt/software/hadoop-3.1.1/share/hadoop/common/hadoop-common-3.1.1.jar
    [root@hm output]#

###### ⑤ 测试 ######

按如下指令进行操作，完成测试，说明安装成功。

[root@hm hadoop-3.1.1]# ll
    总用量 180
    drwxr-xr-x 2 1000 1001    183 8月   2 2018 bin
    drwxr-xr-x 3 1000 1001     20 8月   2 2018 etc
    drwxr-xr-x 2 1000 1001    106 8月   2 2018 include
    drwxr-xr-x 2 root root   4096 6月   2 14:35 input
    drwxr-xr-x 3 1000 1001     20 8月   2 2018 lib
    drwxr-xr-x 4 1000 1001    288 8月   2 2018 libexec
    -rw-r--r-- 1 1000 1001 147144 7月  29 2018 LICENSE.txt
    -rw-r--r-- 1 1000 1001  21867 7月  29 2018 NOTICE.txt
    drwxr-xr-x 2 root root     88 6月   2 14:37 output
    -rw-r--r-- 1 1000 1001   1366 7月  29 2018 README.txt
    drwxr-xr-x 3 1000 1001   4096 8月   2 2018 sbin
    drwxr-xr-x 4 1000 1001     31 8月   2 2018 share
    [root@hm hadoop-3.1.1]# pwd
    /opt/software/hadoop-3.1.1
    [root@hm hadoop-3.1.1]# mkdir input
    [root@hm hadoop-3.1.1]# cp etc/hadoop/*.xml input
    [root@hm hadoop-3.1.1]# cp etc/hadoop/*.properties input
    [root@hm hadoop-3.1.1]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar grep input output 'dfs[a-z.]+'
    [root@hm hadoop-3.1.1]# cd output/
    [root@hm output]# ll
    总用量 4
    -rw-r--r-- 1 root root 180 6月   2 14:37 part-r-00000
    -rw-r--r-- 1 root root   0 6月   2 14:36 _SUCCESS
    [root@hm output]# cat part-r-00000
    3       dfs.server.namenode.
    3       dfs.logger
    2       dfs.audit.logger
    2       dfs.audit.log.maxfilesize
    2       dfs.audit.log.maxbackupindex
    1       dfsadmin
    1       dfs.namenode.servicerpc
    1       dfs.namenode.rpc
    1       dfs.log
    [root@hm output]#

###### ⑥ 免密 ######

[root@hm hadoop-3.1.1]# ssh localhost
    # 输入密码
    [root@hm ~]# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
    [root@hm ~]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    [root@hm ~]# chmod 0600 ~/.ssh/authorized_keys
    # ctrl + D, 然后进行测试
    [root@hm hadoop-3.1.1]# ssh localhost
    # 无需再输入密码

###### ⑦ 配置 ######

// 1. 修改core-site.xml配置文件

[root@hm hadoop-3.1.1]# vim /opt/software/hadoop-3.1.1/etc/hadoop/core-site.xml
    // 增加以下信息
    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>

// 2. 修改hdfs-site.xml配置文件

[root@hm hadoop-3.1.1]# vim /opt/software/hadoop-3.1.1/etc/hadoop/hdfs-site.xml
    // 增加以下信息
    <configuration>
      <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/data/nameNode</value>
      </property>
      <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/data/dataNode</value>
      </property>
    </configuration>

// 3. 在start-dfs.sh和stop-dfs.sh文件中，添加以下参数：

HDFS_DATANODE_USER=root
    HADOOP_SECURE_DN_USER=hdfs
    HDFS_NAMENODE_USER=root
    HDFS_SECONDARYNAMENODE_USER=root

// 4. 在start-yarn.sh和stop-yarn.sh文件中，添加以下参数：

YARN_RESOURCEMANAGER_USER=root
    HADOOP_SECURE_DN_USER=yarn
    YARN_NODEMANAGER_USER=root

###### ⑧ 格式化 ######

[root@hm hadoop-3.1.1]# bin/hdfs namenode -format

###### ⑨ 启动 ######

[root@hm hadoop-3.1.1]# sbin/start-dfs.sh

###### ⑩ 查看 ######

查看页面：http://192.168.64.174:9870/
    查看配置：http://192.168.64.174:9870/conf
    查看日志：http://192.168.64.174:9870/logs/
    JMX：http://192.168.64.174:9870/jmx

![在这里插入图片描述][d8a6d62fa1464245b17f7ad4f7cfaabb.png]

[https_archive.apache.org_dist_hadoop_common_hadoop-3.1.1_hadoop-3.1.1.tar.gz]: https://archive.apache.org/dist/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz
[6874e87d107546c8a3c00f630c8b3e24.png]: https://img-blog.csdnimg.cn/6874e87d107546c8a3c00f630c8b3e24.png
[c879a0f5741d41bbb1782c2b8c1df7bd.png]: https://img-blog.csdnimg.cn/c879a0f5741d41bbb1782c2b8c1df7bd.png
[d8a6d62fa1464245b17f7ad4f7cfaabb.png]: https://img-blog.csdnimg.cn/d8a6d62fa1464245b17f7ad4f7cfaabb.png