windows10下配置hadoop2.8.5超详细过程

àì夳堔傛蜴生んèń 2023-05-22 14:24 5阅读 0赞

## windows10下配置hadoop2.8.5超详细过程 ##

> 初学hadoop，在windows10下学着配置hadoop，由于hadoop是运行在linux下的，在win10配置有许多问题需要注意。在此，记录如下，供大家学习时参考。
> 
> 坚持写详细的教程，记录学习中的喜悦。

### 文章一览 ###

*   *  windows10下配置hadoop2.8.5超详细过程
     *   *  一.配置Java环境
         *   *  1.下载jdk包
             *  2.配置jdk环境
             *  3.验证java环境
         *  二.hadoop配置
         *   *  1.下载hadoop
             *  2.解压压缩包
             *  3.替换bin文件夹
             *  4.配置Hadoop的环境
             *  5.创建三个文件夹
             *  6.修改hadoop配置文件（5个）
             *   *  6.1修改\`D:\\software\\hadoop-2.8.5\\etc\\hadoop\\core-site.xml\`
                 *  6.2修改\`D:\\software\\hadoop-2.8.5\\etc\\hadoop\\hdfs-site.xml\`
                 *  6.3 修改\`D:\\software\\hadoop-2.8.5\\etc\\hadoop\\yarn-site.xml\`
                 *  6.4 修改\`D:\\software\\hadoop-2.8.5\\etc\\hadoop\\hadoop-env.cmd\`
                 *  6.5 修改\`D:\\software\\hadoop-2.8.5\\etc\\hadoop\\mapred-site.xml.template\`
             *  7.把hadoop.dll放到C盘的C:/windows/system32下面
         *  三.测试hadoop配置是否成功

### 一.配置Java环境 ###

#### 1.下载jdk包 ####

在java官网https://www.oracle.com/java/technologies/javase-downloads.html下载jdk包

![jdk官网下载jdk8][jdk_jdk8]  
选择下载jdk8.在jdk8中已经有jre了，因此不需要单独下载jre。

下载好之后，解压到文件夹，特别注意，文件夹路径千万不要有中文或者是空格，不然在配置hadoop的时候会出错。

在这里，我下载到了 **D:\\software\\java**

#### 2.配置jdk环境 ####

鼠标右键 **我的电脑** \->> 单击**属性** \->>单击左侧**高级系统设置** \->>单击 **环境变量**

这里，配置方法有2种。

方法一：在系统环境变量Path中添加之前解压的java的bin目录的路径即可

![jdk环境变量设置][jdk]  
方法二：

*  新建一个系统变量 `JAVA_HOME`，值为 **`D:\software\java`**
 *  在path中添加： %JAVA\_HOME%\\bin

#### 3.验证java环境 ####

同时按下`win`\+`R`打开cmd，测试java是否配置成功

分别输入`java`，`javac`看是否报错  
![测试java是否装好][java]  
![在这里插入图片描述][20200417230559481.png]  
出现了以上截图的结果，说明配置成功

【注意】

这个时候可能会遇到输入java正常，但是输入javac没有正常输出，这个时候去检查一下有没有javac.exe.很可能是因为java虚拟机缺失，导致javac没法儿用

### 二.hadoop配置 ###

#### 1.下载hadoop ####

下载 hadoop https://archive.apache.org/dist/hadoop/common/。选择需要的版本进行下载

用这个网页也可以 http://hadoop.apache.org/releases.html

![hadoop下载][hadoop]  
选择下载binary，下面的两个链接都可以  
![hadoop下载][hadoop 1]

#### 2.解压压缩包 ####

把这个压缩包解压，目录路径不要有中文或者空格，以免报错

在此，我解压到了`D:\software\hadoop-2.8.5`

#### 3.替换bin文件夹 ####

下载winutils，这个是别人编译好的hadoop的windows版本二进制文件，https://github.com/cdarlint/winutils 这个链接的winutils比较全。下载好之后，解压，选择对应的版本，把bin文件夹给覆盖

#### 4.配置Hadoop的环境 ####

在系统环境变量中添加 HADOOP\_HOME，值为hadoop的路径，即`D:\software\hadoop-3.2.1`  
![配置hadoop环境][hadoop 2]  
在path中添加如下内容：

`%HADOOP_HOME%\bin`  
`%HADOOP_HOME%\sbin`  
![path中添加这两句话][path]  
配置环境变量的好处是不管在哪个文件夹，都可以使用hadoop的这些命令

#### 5.创建三个文件夹 ####

在`D:\software\hadoop-2.8.5\`下创建一个文件夹workspace，在这个文件夹下创建3个文件夹，分别是data,name,tmplate

【注意！】这里的文件夹名字可以随意取，但是要在配置文件中配置正确。

#### 6.修改hadoop配置文件（5个） ####

##### 6.1修改`D:\software\hadoop-2.8.5\etc\hadoop\core-site.xml` #####

<configuration>
    	<property>        
    		<name>hadoop.tmp.dir</name>        
    		<value>/D:/software/hadoop-2.8.5/workspace/tmplate</value> 
            
    	</property>    
    	<property>        
    		<name>dfs.name.dir</name>        
    		<value>/D:/software/hadoop-2.8.5/workspace/name
                
    	</value>    
    	</property>    
    	<property>        
    		<name>fs.default.name</name>        
    		<value>hdfs://localhost:9000</value>    
    	</property>
    </configuration>

##### 6.2修改`D:\software\hadoop-2.8.5\etc\hadoop\hdfs-site.xml` #####

<configuration>
    	<property>        
    		<name>dfs.replication</name>        
    		<value>1</value>    
    	</property>    
    	<property>        
    		<name>dfs.data.dir</name>        
    		<value>/D:/software/hadoop-2.8.5/workspace/data</value>    
    	</property>
    	<property>
    		<name>dfs.permissions</name>
    		<value>false</value>
    		<description>取消hdfs权限认证，默认情况下是开启的</description>
    	</property>
    </configuration>

设置复制数为1，即不进行复制。设置datanode数据路径

##### 6.3 修改`D:\software\hadoop-2.8.5\etc\hadoop\yarn-site.xml` #####

<configuration>
    
    
    	<property>       
    		<name>yarn.nodemanager.aux-services</name>       
    		<value>mapreduce_shuffle</value>    
    	</property>    
    	<property>       
    		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>       
    		<value>org.apache.hadoop.mapred.ShuffleHandler</value>    
    	</property>
    
    </configuration>

##### 6.4 修改`D:\software\hadoop-2.8.5\etc\hadoop\hadoop-env.cmd` #####

在这个文件里面追加java环境变量

`set JAVA_HOME=D:\software\java`

##### 6.5 修改`D:\software\hadoop-2.8.5\etc\hadoop\mapred-site.xml.template` #####

首先要修改文件名，把`mapred-site.xml.template`改成`marped-site.xml`

这里可以勾选显示文件拓展名。

<configuration>
    	<property>		
    		<name>mapreduce.framework.name</name>		
    		<value>yarn</value>	
    		</property>	
    	<property>		   
    		<name>mapred.job.tracker</name>		   
    		<value>hdfs://localhost:9001</value>	
    	</property>
    </configuration>

#### 7.把hadoop.dll放到C盘的C:/windows/system32下面 ####

不然可能会报权限错误：

如果还是会报错的话，试试在系统环境变量里添加 `HADOOP_USESR_NAME`，值为`root`

### 三.测试hadoop配置是否成功 ###

使用**管理员**身份打开cmd

1.  格式化节点，输入命令`hdfs namenode -format`  
    ![运行结果][20200417231114154.png]
2.  启动hadoop ，输入命令`start-all.cmd`或者`start-all`

输入命令后会出现如下结果：  
![运行的结果][20200417231319347.png]  
![四个进程][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZHhoc3E_size_16_color_FFFFFF_t_70]  
3. 使用jps，查看是否有5个进程  
![5个进程][5]  
这5个一个也不能缺。

1.  在地址栏输入：http://localhost:50070 可以查看节点管理  
    ![节点管理][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZHhoc3E_size_16_color_FFFFFF_t_70 1]
2.  在浏览器地址栏输入：http://localhost:8088 可以查看资源情况

![资源管理][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZHhoc3E_size_16_color_FFFFFF_t_70 2]  
至此，hadoop就顺利配好啦！！！

[jdk_jdk8]: /images/20230521/680492232cb34c8b8e9ec921580a92d2.png
[jdk]: /images/20230521/48a19d272bff436daa7c8f91d3d7262d.png
[java]: /images/20230521/5f99a076db1f4ce09b681047e7306fb4.png
[20200417230559481.png]: /images/20230521/66d1baacfa0046baaf28a8e3bc1958f0.png
[hadoop]: /images/20230521/9f43e1ddb4e447cda3dcc3818cd65a2e.png
[hadoop 1]: /images/20230521/a838ddfaba284cb19788b7a9ee58a1bb.png
[hadoop 2]: /images/20230521/dde333e97a7b46c2b317e79c5cb5dac0.png
[path]: /images/20230521/67d5a8f1bf264be08a38d7a3e3028d56.png
[20200417231114154.png]: /images/20230521/33cbf71a909e4ec4a404e268b3ba455e.png
[20200417231319347.png]: /images/20230521/5ae81b9edc35479c893dffd2b8a9de0c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZHhoc3E_size_16_color_FFFFFF_t_70]: /images/20230521/21fb6452ce5b420bb1e862ee1f638069.png
[5]: /images/20230521/57300eda34a744508aeba5a36c1dfa5c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZHhoc3E_size_16_color_FFFFFF_t_70 1]: /images/20230521/7adfa0832ea54abab0144e8789b5b148.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZHhoc3E_size_16_color_FFFFFF_t_70 2]: /images/20230521/e21bc8bb17df4134872bd5f6d89edeaa.png