Hadoop 之 HDFS 单机部署和测试（一）

痛定思痛。 2023-10-13 16:22 4阅读 0赞

#### Hadoop单机部署和测试 ####

*  一.单机部署
 *   *  1.安装 JDK（JDK11）
     *  2.安装 HADOOP
     *  3.测试

## 一.单机部署 ##

系统版本：cat /etc/anolis-release

![在这里插入图片描述][0bd2e6a4d6e64dea853119abbb89e37d.png]

### 1.安装 JDK（JDK11） ###

#!/bin/bash
    
    TOP_PATH=$(pwd)
    JAVA_PATH=/usr/local/java
    FILE=`ls $TOP_PATH/ | grep jdk | grep .tar.gz | grep -v grep `
    
    ## 清空历史版本
    if [ -d $JAVA_PATH ];then
    	rm -rf $JAVA_PATH
    fi
    ## 创建安装目录
    mkdir -p $JAVA_PATH
    ## 解压
    tar -zxvf $TOP_PATH/$FILE -C $JAVA_PATH
    ## 设置环境变量 注意路径上的版本信息 jdk-11.0.19
    echo 'export JAVA_HOME=/usr/local/java/jdk-11.0.19' >> /etc/profile
    echo 'export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH' >> /etc/profile
    echo 'export PATH=$JAVA_HOME/bin:$PATH' >> /etc/profile
    source /etc/profile

查看版本：java -version

![在这里插入图片描述][ef7548219c89487ca5ca25196964c380.png]

### 2.安装 HADOOP ###

下载：[Apache Hadoop][]  
![在这里插入图片描述][7f6fbe0705e446878f2cbb8d16c58739.png]  
![在这里插入图片描述][30560ead52a24861890e285609d80bd5.png]

#!/bin/bash
    TOP_PATH=$(pwd)
    HADOOP_PATH=/usr/local/hadoop
    FILE=`ls $TOP_PATH/ | grep hadoop | grep .tar.gz | grep -v grep `
    
    ## 清空历史版本
    if [ -d $HADOOP_PATH ];then
    	rm -rf $HADOOP_PATH
    fiHAD
    ## 创建安装目录
    mkdir -p $HADOOP_PATH
    ## 解压
    tar -zxvf $TOP_PATH/$FILE -C $HADOOP_PATH
    ## 设置环境变量 注意路径上的版本信息 hadoop-3.3.6
    echo 'export HADOOP_HOME=/usr/local/hadoop/hadoop-3.3.6' >> /etc/profile
    echo 'export PATH=${PATH}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin' >> /etc/profile
    source /etc/profile

查看版本：hadoop version

![在这里插入图片描述][523c4c9ed0964643bdbbef559680cfc8.png]

### 3.测试 ###

## 创建测试目录
    mkdir /home/input
    ## 拷贝测试数据
    cp $HADOOP_HOME/etc/hadoop/*.xml /home/input/
    cd $HADOOP_HOME/
    ## 测试命令
    ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar grep /home/input/ /home/output 'dfs[a-z]+'

查看输出结果：cat /home/output/part-r-00000

![在这里插入图片描述][2416192550c74f7bbf37690d02f67b29.png]

验证结果正确性：find /home/input -type f -name "*.xml" | xargs grep dfs

![在这里插入图片描述][f8db66ad18604d5d933841b0faf0d575.png]

创建一个测试文件：touch /home/input/text.xml && echo dfstext >> /home/input/text.xml && rm -rf /home/output
    重新统计：./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar grep /home/input/ /home/output 'dfs[a-z]+'
    查看结果：cat /home/output/part-r-00000

![在这里插入图片描述][1a80dfdb785c4a6495b74bcb18917216.png]

[0bd2e6a4d6e64dea853119abbb89e37d.png]: https://img-blog.csdnimg.cn/0bd2e6a4d6e64dea853119abbb89e37d.png
[ef7548219c89487ca5ca25196964c380.png]: https://img-blog.csdnimg.cn/ef7548219c89487ca5ca25196964c380.png
[Apache Hadoop]: https://hadoop.apache.org/releases.html
[7f6fbe0705e446878f2cbb8d16c58739.png]: https://img-blog.csdnimg.cn/7f6fbe0705e446878f2cbb8d16c58739.png
[30560ead52a24861890e285609d80bd5.png]: https://img-blog.csdnimg.cn/30560ead52a24861890e285609d80bd5.png
[523c4c9ed0964643bdbbef559680cfc8.png]: https://img-blog.csdnimg.cn/523c4c9ed0964643bdbbef559680cfc8.png
[2416192550c74f7bbf37690d02f67b29.png]: https://img-blog.csdnimg.cn/2416192550c74f7bbf37690d02f67b29.png
[f8db66ad18604d5d933841b0faf0d575.png]: https://img-blog.csdnimg.cn/f8db66ad18604d5d933841b0faf0d575.png
[1a80dfdb785c4a6495b74bcb18917216.png]: https://img-blog.csdnimg.cn/1a80dfdb785c4a6495b74bcb18917216.png