Hadoop windows本地环境安装

红太狼 2022-05-13 15:52 352阅读 0赞

hadoop使用java编写，所以windows安装和java一样也需要配置环境变量。

**一、下载所需文件**

1.  JDK下载地址，[jdk1.8下载][jdk1.8]
2.  Hadoop下载，[hadoop下载][hadoop]，进去后找到一个版本然后点击 Binary download 下载到本地。
3.  Hadoop windows环境编译工具，[winutils下载][winutils] ，下载后解压出来

**二、安装文件**

1.   jdk安装，jdk安装并不复杂，这里就不详细介绍了，我的安装目录是 C:\\Program Files\\Java\\jdk1.8.0\_151
2.  hadoop安装，由于下载的hadoop文件是不用安装的，我们只需要解压出来就可以了 解压目录 D:\\hadoop\\hadoop-3.1.1

![70][]

**三、环境变量配置**

![70 1][]

![70 2][]

1.  jdk环境变量配置，网上很多这里也就不详细说了
2.  Hadoop环境变量安装，环境变量和java的安装方式一样

![70 3][]

先新建一个HADOOP\_HOME，里面变量值为 D:\\hadoop\\hadoop-3.1.1

![70 4][]

然后在Path变量值后面追加 %HADOOP\_HOME%\\bin; ，至此hadoop的环境变量就配置完了。

**四、配置hadoop文件**

1.  进入hadoop目录下面的etcD:\\hadoop\\hadoop-3.1.1\\etc\\hadoop 找到 core-site.xml文件并使用编辑器打开，复制下面内容进去

<configuration>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/D:/hadoop/workspace/tmp</value>
        </property>
        <property>
            <name>dfs.name.dir</name>
            <value>/D:/hadoop/workspace/name</value>
        </property>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>

1.   在找到 mapred-site.xml 文件并打开，复制下面内容进去

<configuration>
        <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
        </property>
        <property>
           <name>mapred.job.tracker</name>
           <value>hdfs://localhost:9001</value>
        </property>
    </configuration>

1.   找到 hdfs-site.xml 文件并打开，复制下面内容进去

<configuration>
        
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.data.dir</name>
            <value>/D:/hadoop/workspace/data</value>
        </property>
    </configuration>

1.  找到 yarn-site.xml 文件并打开，复制下面内容进去

<configuration>
        <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
        </property>
        <property>
           <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
           <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
    </configuration>

1.  找到 hadoop-env.cmd 文件并打开，将JAVA\_HOME用 @rem注释掉，编辑为JAVA\_HOME的路径，然后保存。

@rem set JAVA_HOME=%JAVA_HOME%
        set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_151

注意这里会有个错误，由于我jdk安装在C盘的 program files目录下，这个文件夹有个空格，后面会报错

所以这里我们修改成 ，使用 PROGRA~1 代替

@rem set JAVA_HOME=%JAVA_HOME%
    set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_151

**五、替换文件**

解压我们之前下载的 winutils-master 文件，找到符合自己的版本，我这里找的是 D:\\hadoop\\winutils-master\\hadoop-3.0.0 进入文件夹拷贝整个bin文件替换掉 hadoop的bin文件夹，即 D:\\hadoop\\hadoop-3.1.1 下面的bin

**六、运行**

1.运行cmd窗口，执行hdfs namenode -format。

2.运行cmd窗口，切换到hadoop的sbin目录，执行**start-all.cmd**，它将会启动以下4个进程窗口。

![70 5][]

![70 6][]

![70 7][]

**七、上传测试**

根据你core-site.xml的配置，接下来你就可以通过：hdfs://localhost:9000 来对hdfs进行操作了。

1.创建输入目录

输入命令，hadoop fs -mkdir hdfs://localhost:9000/user

hadoop fs -mkdir hdfs://localhost:9000/user/wcinput

C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/
     
    C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/wcinput

2.上传数据到目录

输入命令, hadoop fs -put D:\\personal\\debug.log hdfs://localhost:9000/user/wcinput  
 hadoop fs -put D:\\personal\\waz.txt hdfs://localhost:9000/user/wcinput

C:\WINDOWS\system32>hadoop fs -put D:\personal\debug.log hdfs://localhost:9000/user/wcinput
     
    C:\WINDOWS\system32>hadoop fs -put D:\personal\waz.txt hdfs://localhost:9000/user/wcinput

3.查看文件

输入命令，hadoop fs -ls hdfs://localhost:9000/user

![70 8][]

**QA常见问题：**

1:启动hadoop可能提示找不到JAVA\_HOME路径,是因为hadoop读取JAVA\_HOME环境变量存在空格导致。

2:启动hadoop提示找不到HADOOP，是因为Hadoop环境变量没有配置好，请检查Hadoop环境变量配置。

hadoop自带的web控制台GUI

1.资源管理GUI:[http://localhost:8088/][http_localhost_8088]；

![70 9][]

2.节点管理GUI:[http://localhost:50070/][http_localhost_50070]

![70 10][]

[jdk1.8]: https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
[hadoop]: https://hadoop.apache.org/releases.html
[winutils]: https://github.com/steveloughran/winutils
[70]: /images/20220504/9092f2e0a26c479b896387a7020f274b.png
[70 1]: /images/20220504/c398201de2b24984884faa380880d669.png
[70 2]: /images/20220504/aa8150d3c4b943639010de86a996a2c7.png
[70 3]: /images/20220504/ccb8e33ba2bb41b2809c12e852f880e4.png
[70 4]: /images/20220504/85a0edd2ee584436b0ec9c6e94380211.png
[70 5]: /images/20220504/94c4fc3313e5498dbf8d1c560ddc91d3.png
[70 6]: /images/20220504/a4ad881e4577450fbaf5c33313017b49.png
[70 7]: /images/20220504/fe771d7e3d0b4fecb27410d69d556e71.png
[70 8]: /images/20220504/90e6f74a8a9640a38807343b1c94ad75.png
[http_localhost_8088]: http://localhost:8088/
[70 9]: /images/20220504/750c2b1f9d7e4bb3807ce7469881b01d.png
[http_localhost_50070]: http://localhost:50070/
[70 10]: /images/20220504/56aba73b8af344e1b4c6e922f59eb474.png