Windows环境下安装Hadoop3.1.0全过程（超详细手把手一条龙教学）

╰半夏微凉° 2023-10-03 20:05 35阅读 0赞

#### 文章目录 ####

*  1、查看是否安装好了Java开发环境
 *  2、下载安装Hadoop所需要的文件
 *  3、解压已下载的文件
 *  4、替换原安装包的bin文件夹
 *  5、配置Hadoop环境变量
 *  6、检查环境变量是否配置成功
 *  7、配置hadoop的配置文件
 *   *  1. 配置core-site.xml文件
     *  2. 配置mapred-site.xml
     *  3. 配置yarn-site.xml
     *  4. 新建namenode文件夹和datanode文件夹
     *  5. 配置hdfs-site.xml
     *  6、配置hadoop-env.sh
     *  7、配置hadoop-env.cmd
 *  8、启动Hadoop服务

## 1、查看是否安装好了Java开发环境 ##

在cmd中输入`java -version`  
![在这里插入图片描述][a952a48a3bba42ad81afcd437336c787.png]  
若能成功显示java jdk的版本号则代表java环境已安装成功（注意要配置好JAVA\_HOME，后面步骤中会用到）

> 若还未安装或配置Java JDK，可以参考以下链接进行安装：[Java JDK安装和配置][Java JDK]

## 2、下载安装Hadoop所需要的文件 ##

*  Hadoop3.1.0版本的安装包：[https://archive.apache.org/dist/hadoop/common/hadoop-3.1.0/hadoop-  
    3.1.0.tar.gz][https_archive.apache.org_dist_hadoop_common_hadoop-3.1.0_hadoop- 3.1.0.tar.gz]
 *  Windows环境安装所需的bin：[https://github.com/s911415/apache-hadoop-3.1.0-winutils][https_github.com_s911415_apache-hadoop-3.1.0-winutils]

## 3、解压已下载的文件 ##

我的hadoop-3.1.0解压后文件夹的路径为D:\\hadoop-3.1.0  
![在这里插入图片描述][2d165a8fc1884e459033de780bac3976.png]

## 4、替换原安装包的bin文件夹 ##

![在这里插入图片描述][90d3cf931efd41039d92094491c7b9a0.png]  
可以发现apache-hadoop-3.1.0-winutils-master这个文件夹解压后里面只有bin这一个文件夹，我们将这个bin文件夹复制到hadoop-3.1.0文件夹中替换原有的bin文件夹  
![在这里插入图片描述][5d403578608a4ab3a96ef78dc0254a96.png]

## 5、配置Hadoop环境变量 ##

![在这里插入图片描述][a43e6209024243cf8f0fa5165a11542d.png]  
![在这里插入图片描述][2ee60dadeec1400d88a0e8fc6e10eb4d.png]  
![在这里插入图片描述][67d4392456db4ce68a4d6cd22b97fae6.png]  
在新建系统变量中：变量名填`HADOOP_HOME`，变量值填hadoop-3.1.0对应的路径（比如我的是D:\\hadoop-3.1.0）  
![在这里插入图片描述][a1517d1344f8472da69ba3d3c6d18fe9.png]  
顺便可以检查一下JAVA\_HOME有没有配置好，后面会用到  
然后点击Path变量进行编辑，在最前面加上`%HADOOP_HOME%\bin;`（记得加分号和别的隔开），配置完后如图所示：  
![在这里插入图片描述][a506ea7fab3345279196e8c5235da49f.png]

## 6、检查环境变量是否配置成功 ##

配置好环境变量后，win+R 输入cmd打开命令提示符，然后输入`hadoop version`，按回车，如果出现如图所示版本号，则说明安装成功  
![在这里插入图片描述][1eac492d5df84e4c94fc871d7ce71569.png]

## 7、配置hadoop的配置文件 ##

进入到\\hadoop-3.1.0\\etc\\hadoop文件夹  
![在这里插入图片描述][bade5097c09d4f74b7981e91a51ba5fe.png]

### 1. 配置core-site.xml文件 ###

![在这里插入图片描述][622015608cb94895a6ef37d6fe4aee2a.png]  
以记事本或其他文本编辑器打开:  
![在这里插入图片描述][827378cdeacb47e190a6c27c4668318e.png]  
找到文档最后的""标签  
填入以下内容：

<configuration>
    	<property>
    		<name>fs.defaultFS</name>
    		<value>hdfs://localhost:900</value>
    	</property>
    </configuration>

> 注意：最后只有一个configuration标签！可以先去掉原来的configuration标签将以上内容复制粘贴到文档最后；或者将以上内容中configuration标签内的内容复制粘贴到原本文档中的configuration标签中！（最后文档内只能有一个configuration标签，以下几个配置文件也是如此）

![在这里插入图片描述][e57ed0bde9ce448fb9b5c14261afafe5.png]

### 2. 配置mapred-site.xml ###

![在这里插入图片描述][1a3a0dfd604347dca0b1d6eb00df37c9.png]  
同样也是在文档末尾添加以下内容：

<configuration>   
    	<property>       
    	<name>mapreduce.framework.name</name>       
    	<value>yarn</value>   
    	</property>
    </configuration>

如图所示：

![在这里插入图片描述][38bcb6501c0b4a68ae1347c36a519294.png]

### 3. 配置yarn-site.xml ###

![在这里插入图片描述][9b40e80dcdb044de8559bdb5b01b2db7.png]  
文档末尾添加以下内容：

<configuration>
    	<property>
    		<name>yarn.nodemanager.aux-services</name>
    		<value>mapreduce_shuffle</value>
    	</property>
    	<property>
    		<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
    		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
    	</property>
    </configuration>

![在这里插入图片描述][131fed2aad754c4d8b6ce110a67b53a2.png]

### 4. 新建namenode文件夹和datanode文件夹 ###

1.  在D:\\hadoop-3.1.0创建`data2020`文件夹（这个也可以是别的名字，但后面配置要对应修改）  
    ![在这里插入图片描述][848afcd318474fe2a21b7ced95bf2861.png]
2.  在data2020文件夹中（D:\\hadoop-3.1.0\\data2020）创建`datanode`和`namenode`文件夹  
    ![在这里插入图片描述][eb49037ec71c446b9db6d2c1569699b5.png]

### 5. 配置hdfs-site.xml ###

![在这里插入图片描述][abcc55be84484743b7d33f0e1d448586.png]  
在文档底部配置如下内容：

<configuration>
    	<property>       
    	<name>dfs.replication</name>       
    	<value>1</value>   
    	</property>   
    	<property>       
    	<name>dfs.namenode.name.dir</name>       
    	<value>D:\hadoop-3.1.0\data2020\namenode</value>
    	</property>   
    	<property>       
    	<name>dfs.datanode.data.dir</name>     
    	<value>D:\hadoop-3.1.0\data2020\datanode</value>
    	</property>
    </configuration>

> 注意两个标签中的地址是刚刚创建的datanode和namenode的对应地址

配置后如图所示：  
![在这里插入图片描述][295aa398b0294065ad48fef34a53ad67.png]

### 6、配置hadoop-env.sh ###

> 注意！！hadoop-env.sh是.sh文件！有两个“hadoop-env”，一个是cmd文件，一个是sh文件，不要搞混了！  
> 可以右键文件，点击属性，查看该文件的类型：  
> ![在这里插入图片描述][e22e579918f744d6baeba429efd169c3.png]

打开hadoop-env.sh  
![在这里插入图片描述][edf5973a98804f7b9fbf20ef2efdaa76.png]  
使用查找功能（ctrl+f）查找`export JAVA_HOME`，找到相应的位置：  
![在这里插入图片描述][4339311f07314b3993ebcb988ca65344.png]  
在\#export JAVA\_HOME=下面一行配置自己电脑上对应的JAVA\_HOME/bin路径，注意是以bin结尾的！！  
JAVA\_HOME的具体路径在环境变量中查找到

### 7、配置hadoop-env.cmd ###

注意是.cmd文件！！  
![在这里插入图片描述][165a55499ca74a789b107ed7adbb6d46.png]  
.cmd文件无法用记事本打开的话，可以右键用Intellij IDEA打开并编辑  
![在这里插入图片描述][8a3c195fb2ee4655903645be815d8910.png]  
打开后使用查找功能（ctrl+f），输入`@rem The java implementation to use`查找到对应行  
![在这里插入图片描述][c8b6b161d73b4bd58377129bb5de549d.png]  
在set JAVA\_HOME那一行将自己的JAVA\_HOME路径配置上去

到这里配置文件就配置完了，注意每个文件配置完后记得保存！！

## 8、启动Hadoop服务 ##

在cmd中进入到D:\\hadoop-3.1.0\\bin路径  
或者直接在对应的文件夹里面输入cmd进入  
![在这里插入图片描述][b5853b16d5854cbf9296b46dc6e035f1.png]  
![在这里插入图片描述][3409547c7ed54fc4ba980c90673aaea4.png]  
输入`hdfs namenode –format`命令  
如果没报错的话，证明配置文件没出问题！  
然后再进入到D:\\hadoop-3.1.0\\sbin路径

> 注意，是sbin，不是bin！！

![在这里插入图片描述][25223f25e11a41dc9392562cf803756e.png]  
![在这里插入图片描述][6f35b13edc9a4083a7b562ad1d82a95a.png]  
输入`start-dfs.cmd`命令，会跳出两个窗口，不要关掉它们！

再输入`start-yarn.cmd`，命令，又会再出现两个窗口，也不要关！

接着在浏览器中访问[http://localhost:9870/][http_localhost_9870]  
如果成功出现以下界面则代表Hadoop安装和配置完成啦！！  
![在这里插入图片描述][d8f0a31077cb4f6eada9a8d89b2963f2.png]

[a952a48a3bba42ad81afcd437336c787.png]: https://img-blog.csdnimg.cn/a952a48a3bba42ad81afcd437336c787.png
[Java JDK]: https://www.yiibai.com/java/java_environment_setup.html
[https_archive.apache.org_dist_hadoop_common_hadoop-3.1.0_hadoop- 3.1.0.tar.gz]: https://archive.apache.org/dist/hadoop/common/hadoop-3.1.0/hadoop-%203.1.0.tar.gz
[https_github.com_s911415_apache-hadoop-3.1.0-winutils]: https://github.com/s911415/apache-hadoop-3.1.0-winutils
[2d165a8fc1884e459033de780bac3976.png]: https://img-blog.csdnimg.cn/2d165a8fc1884e459033de780bac3976.png
[90d3cf931efd41039d92094491c7b9a0.png]: https://img-blog.csdnimg.cn/90d3cf931efd41039d92094491c7b9a0.png
[5d403578608a4ab3a96ef78dc0254a96.png]: https://img-blog.csdnimg.cn/5d403578608a4ab3a96ef78dc0254a96.png
[a43e6209024243cf8f0fa5165a11542d.png]: https://img-blog.csdnimg.cn/a43e6209024243cf8f0fa5165a11542d.png
[2ee60dadeec1400d88a0e8fc6e10eb4d.png]: https://img-blog.csdnimg.cn/2ee60dadeec1400d88a0e8fc6e10eb4d.png
[67d4392456db4ce68a4d6cd22b97fae6.png]: https://img-blog.csdnimg.cn/67d4392456db4ce68a4d6cd22b97fae6.png
[a1517d1344f8472da69ba3d3c6d18fe9.png]: https://img-blog.csdnimg.cn/a1517d1344f8472da69ba3d3c6d18fe9.png
[a506ea7fab3345279196e8c5235da49f.png]: https://img-blog.csdnimg.cn/a506ea7fab3345279196e8c5235da49f.png
[1eac492d5df84e4c94fc871d7ce71569.png]: https://img-blog.csdnimg.cn/1eac492d5df84e4c94fc871d7ce71569.png
[bade5097c09d4f74b7981e91a51ba5fe.png]: https://img-blog.csdnimg.cn/bade5097c09d4f74b7981e91a51ba5fe.png
[622015608cb94895a6ef37d6fe4aee2a.png]: https://img-blog.csdnimg.cn/622015608cb94895a6ef37d6fe4aee2a.png
[827378cdeacb47e190a6c27c4668318e.png]: https://img-blog.csdnimg.cn/827378cdeacb47e190a6c27c4668318e.png
[e57ed0bde9ce448fb9b5c14261afafe5.png]: https://img-blog.csdnimg.cn/e57ed0bde9ce448fb9b5c14261afafe5.png
[1a3a0dfd604347dca0b1d6eb00df37c9.png]: https://img-blog.csdnimg.cn/1a3a0dfd604347dca0b1d6eb00df37c9.png
[38bcb6501c0b4a68ae1347c36a519294.png]: https://img-blog.csdnimg.cn/38bcb6501c0b4a68ae1347c36a519294.png
[9b40e80dcdb044de8559bdb5b01b2db7.png]: https://img-blog.csdnimg.cn/9b40e80dcdb044de8559bdb5b01b2db7.png
[131fed2aad754c4d8b6ce110a67b53a2.png]: https://img-blog.csdnimg.cn/131fed2aad754c4d8b6ce110a67b53a2.png
[848afcd318474fe2a21b7ced95bf2861.png]: https://img-blog.csdnimg.cn/848afcd318474fe2a21b7ced95bf2861.png
[eb49037ec71c446b9db6d2c1569699b5.png]: https://img-blog.csdnimg.cn/eb49037ec71c446b9db6d2c1569699b5.png
[abcc55be84484743b7d33f0e1d448586.png]: https://img-blog.csdnimg.cn/abcc55be84484743b7d33f0e1d448586.png
[295aa398b0294065ad48fef34a53ad67.png]: https://img-blog.csdnimg.cn/295aa398b0294065ad48fef34a53ad67.png
[e22e579918f744d6baeba429efd169c3.png]: https://img-blog.csdnimg.cn/e22e579918f744d6baeba429efd169c3.png
[edf5973a98804f7b9fbf20ef2efdaa76.png]: https://img-blog.csdnimg.cn/edf5973a98804f7b9fbf20ef2efdaa76.png
[4339311f07314b3993ebcb988ca65344.png]: https://img-blog.csdnimg.cn/4339311f07314b3993ebcb988ca65344.png
[165a55499ca74a789b107ed7adbb6d46.png]: https://img-blog.csdnimg.cn/165a55499ca74a789b107ed7adbb6d46.png
[8a3c195fb2ee4655903645be815d8910.png]: https://img-blog.csdnimg.cn/8a3c195fb2ee4655903645be815d8910.png
[c8b6b161d73b4bd58377129bb5de549d.png]: https://img-blog.csdnimg.cn/c8b6b161d73b4bd58377129bb5de549d.png
[b5853b16d5854cbf9296b46dc6e035f1.png]: https://img-blog.csdnimg.cn/b5853b16d5854cbf9296b46dc6e035f1.png
[3409547c7ed54fc4ba980c90673aaea4.png]: https://img-blog.csdnimg.cn/3409547c7ed54fc4ba980c90673aaea4.png
[25223f25e11a41dc9392562cf803756e.png]: https://img-blog.csdnimg.cn/25223f25e11a41dc9392562cf803756e.png
[6f35b13edc9a4083a7b562ad1d82a95a.png]: https://img-blog.csdnimg.cn/6f35b13edc9a4083a7b562ad1d82a95a.png
[http_localhost_9870]: http://localhost:9870/
[d8f0a31077cb4f6eada9a8d89b2963f2.png]: https://img-blog.csdnimg.cn/d8f0a31077cb4f6eada9a8d89b2963f2.png