windows环境下搭建hadoop 3.1.2

妖狐艹你老母 2021-11-27 01:08 416阅读 0赞

**一、下载所需文件**

1.JDK 8 下载地址：[点击打开链接][Link 1]

2.Hadoop 3.1.2下载地址：[https://hadoop.apache.org/releases.html][https_hadoop.apache.org_releases.html]

3.Windows下安装Hadoop工具 winutils [ https://github.com/steveloughran/winutils][https_github.com_steveloughran_winutils]

注意：这里要选择与hadoop 版本对应的 winutils  [https://github.com/steveloughran/winutils/tree/master/hadoop-3.0.0/bin][https_github.com_steveloughran_winutils_tree_master_hadoop-3.0.0_bin]

**二、jdk8安装**

1.不会看这里[点击打开链接][Link 2]

**三、Hadoop环境配置   **

下载Hadoop，并解压到你的本地目录，我下载的是hadoop-3.1.2版本，解压在D:\\hadoop-3.1.2。

**四、配置Hadoop的环境变量**

路径：计算机 –>属性 –>高级系统设置 –>高级选项卡 –>环境变量 –> 单击新建

新建HADOOP\_HOME变量 地址为D:\\hadoop-3.1.2，示意图如下：

![这里写图片描述][SouthEast]

上图换成你自己的hadoop目录即可。

新建HADOOP\_CONF\_DIR变量 地址为 %HADOOP\_PREFIX%\\etc\\hadoop,如下图：

![这里写图片描述][SouthEast 1]

新建YARN\_CONF\_DIR 变量 地址为%HADOOP\_CONF\_DIR%，如下图：

![这里写图片描述][SouthEast 2]

最后 path 添加%HADOOP\_HOME%/bin

对于win10,最后的效果如下：  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JpZ3RyZWVfMzcyMQ_size_16_color_FFFFFF_t_70][]

五、配置Hadoop文件

1.编辑“D:\\hadoop-3.1.2\\etc\\hadoop”下的core-site.xml文件，将下列文本粘贴进去，并保存。

<configuration>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>D:/hadoop-3.1.2/tmp</value>
        </property>
        <property>
            <name>dfs.name.dir</name>
            <value>/D:/hadoop-3.1.2/name</value>
        </property>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>

2.编辑“D:\\hadoop-3.1.2\\etc\\hadoop”目录下的mapred-site.xml(如果不存在将mapred-site.xml.template重命名为mapred-site.xml)文件，粘贴一下内容并保存。

<configuration>
        <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
        </property>
        <property>
           <name>mapred.job.tracker</name>
           <value>hdfs://localhost:9001</value>
        </property>
    </configuration>

3.编辑“D:\\hadoop-3.1.2\\etc\\hadoop”目录下的hdfs-site.xml文件，粘贴以下内容并保存。

<configuration>
    <property>
           <name>dfs.replication</name>
           <value>1</value>
       </property>
       <property>
           <name>dfs.namenode.name.dir</name>
           <value>/d:/hadoop-3.1.2/data/namenode</value>
       </property>
       <property>
           <name>dfs.datanode.data.dir</name>
         <value>/d:/hadoop-3.1.2/data/datanode</value>
       </property>
    </configuration>

4.编辑“D:\\hadoop-3.1.2\\etc\\hadoop”目录下的yarn-site.xml文件，粘贴以下内容并保存。

<property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
       </property>
       <property>
           <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
           <value>org.apache.hadoop.mapred.ShuffleHandler</value>
       </property>
    </configuration>

5.编辑“D:\\hadoop-3.1.2\\etc\\hadoop”目录下的hadoop-env.cmd文件，将JAVA\_HOME用 @rem注释掉，

JAVA\_HOME设置为

set JAVA\_HOME=<填入你自己的JDK地址>，

并在尾部添加  
set HADOOP\_IDENT\_STRING=%USERNAME%  
set HADOOP\_PREFIX=D:\\hadoop-3.1.2  
set HADOOP\_CONF\_DIR=%HADOOP\_PREFIX%\\etc\\hadoop  
set YARN\_CONF\_DIR=%HADOOP\_CONF\_DIR%  
set PATH=%PATH%;%HADOOP\_PREFIX%\\bin

注意，这里有坑，如果你的JDK安装路径有空格，则必须用如下的软链接方法解决。

/\*\* 问题如下：

在windows中安装hadoop，JAVA\_HOME中如果有空格，就会报下面的错误

hadoop Error: JAVA\_HOME is incorrectly set.

解决方案，设置软连接，重新配置JAVA\_HOME

使用 cmd 创建软连接 ，例子如下：mklink /J D:\\tools\\java "D:\\Program Files\\Java\\jdk1.7.0\_67"

然后在hadoop-env.cmd里面设置：

set JAVA\_HOME=D:\\tools\\java

\*\*/

**六、替换文件**

下载winutils相关，hadoop在windows上运行需要winutils支持和hadoop.dll等文件。

下载对应版本的就可以，例如我用的是3.1.2，可以直接下载3.0.0的就好。然后将全部bin目录文件替换至hadoop目录下的bin目录

下载链接是：[https://github.com/steveloughran/winutils/tree/master/hadoop-3.0.0/bin][https_github.com_steveloughran_winutils_tree_master_hadoop-3.0.0_bin]

### 运行hadoop ###

*  打开cmd，执行 hdfs namenode -format ,执行没有报错，说明成功。
 *  然后进入hadoop目录下sbin文件夹，双击start-all.cmd （但是失败了)

[Link 1]: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
[https_hadoop.apache.org_releases.html]: https://hadoop.apache.org/releases.html
[https_github.com_steveloughran_winutils]: https://github.com/steveloughran/winutils
[https_github.com_steveloughran_winutils_tree_master_hadoop-3.0.0_bin]: https://github.com/steveloughran/winutils/tree/master/hadoop-3.0.0/bin
[Link 2]: https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html
[SouthEast]: /images/20211126/7ccb39b4604342eeb05af7971be79cb0.png
[SouthEast 1]: /images/20211126/5dec5884208a4691bedf20d08764b4f4.png
[SouthEast 2]: /images/20211126/9b66ef2a97444d47bf542d81368ae64d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JpZ3RyZWVfMzcyMQ_size_16_color_FFFFFF_t_70]: /images/20211126/3c143797118e466cbfcd404a4c641d10.png