Windows环境安装配置Hadoop

客官°小女子只卖身不卖艺 2023-07-10 15:32 40阅读 0赞

## 首先介绍一下hadoop的作用： ##

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

## hadoop的安装及配置 ##

###### 1. 下载工具 ######

想要使用hadoop肯定需要先下载hadoop:首先去hadoop官网下载自己需要的版本:https://hadoop.apache.org/

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70]  
可以根据自己的需要下载合适的版本，我这边下载的是3.1.3版本的![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 1]  
点击下载即可。![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 2]  
这样hadoop就下载好了,因为hadoop是linux环境 如果想在windows环境下运行hadoop需要winutils.exe和hadoop.dll文件 而这两个文件也要与你下载的hadoop版本一致，这边我提供一下3.1版本的文件下载地址:[下载地址][Link 1] 提取码:4cac

###### 2. 开始配置hadoop ######

**在hadoop路径下创建data文件夹用于数据存储，再在data下创建datanode目录和namenode目录**

1.  配置环境变量

首先配置hadoop的环境变量:  
(我相信你们既然要学hadoop 环境变量应该知道怎么打开的 我这边就不再描述了。)  
在环境变量中添加HADOOP\_HOME属性:D:\\hadoop-3.1.3(值为你hadoop的安装路径 )  
然后在path属性中添加:%HADOOP\_HOME%\\bin

1.  修改hadoop配置文件

进入hadoop安装目录D:\\hadoop-2.6.0\\etc\\hadoop目录，分别修改core-site.xml、mapred-site.xml(如果不存在该文件将mapred-site.xml.template重命名为mapred-site.xml)、hdfs-site.xml、yarn-site.xml文件

core-site.xml

<configuration>
    <property>  
           <name>fs.defaultFS</name>  
           <value>hdfs://localhost:9000</value>  
       </property>
    </configuration>

mapred-site.xml

<configuration>
    <property>  
           <name>mapreduce.framework.name</name>  
           <value>yarn</value>  
       </property>
    </configuration>

hdfs-site.xml(**记得修改文件路径 我这边使用的是3.1.3版本的 如果你使用的也是该版本那就不需要更改**)

<configuration>
    <property>  
            <name>dfs.replication</name>  
            <value>1</value>  
        </property>  
        <property>   
         <name>dfs.permissions</name>   
         <value>false</value>   
      </property>  
       <property>  
           <name>dfs.namenode.name.dir</name>  
           <value>/D:/hadoop-3.1.3/data/namenode</value>  
       </property>  
       <property>  
            <name>fs.checkpoint.dir</name>  
            <value>/D:/hadoop-3.1.3/data/snn</value>  
        </property>  
        <property>  
            <name>fs.checkpoint.edits.dir</name>  
            <value>/D:/hadoop-3.1.3/data/snn</value>  
        </property>  
           <property>  
           <name>dfs.datanode.data.dir</name>  
           <value>/D:/hadoop-3.1.3/data/datanode</value>  
       </property>
    </configuration>

yarn-site.xml

<configuration>
    
    
     <property>  
            <name>yarn.nodemanager.aux-services</name>  
            <value>mapreduce_shuffle</value>  
       </property>  
       <property>  
            <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>    
            <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
       </property>
    
    </configuration>

然后编辑“D:\\hadoop-3.1.3\\etc\\hadoop”路径下的“hadoop-env.cmd”文件,将JAVA\_HOME用 @rem注释掉，编辑为JAVA\_HOME的路径，然后保存。

@rem set JAVA_HOME=%JAVA_HOME%
    set JAVA_HOME=D:\Java\jdk1.8.0_45

把我分享的那个bin文件下的hadoop.dll和winutils.exe 复制到"D:\\hadoop-3.1.3\\bin"目录下

1.  运行hadoop  
    1.运行cmd窗口，执行hdfs namenode -format  
    执行后，data下的namenode和datanode下会有current等文件，如果没有可能是版本不一致的原因。  
    2.运行cmd窗口，切换到hadoop的sbin目录，执行start-all.cmd，它将会启动以下4个进程窗口：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 3]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 4]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 5]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 6]

这样就启动成功了！

###### 3. 查看hadoop ######

通过http://127.0.0.1:8088/即可查看集群所有节点状态  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 7]

访问http://localhost:9870/即可查看文件管理页面:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 8]  
可以在此对文件进行添加上传  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 9]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 10]  
当然也可以使用hadoop命令进行文件操作:

ls命令查看目录文件列表：hadoop fs -ls hdfs://i127.0.0.1:9000/  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 11]  
例如创建一个user文件夹  
mkdir命令创建目录：hadoop fs -mkdir hdfs://127.0.0.1:9000/user  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 12]  
在管理页面可以清楚的看到我们创建的文件夹和文件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 13]  
put命令上传文件：hadoop fs -put D:/1.txt hdfs://127.0.0.1:9000/user/  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 14]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200303140642581.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200303140726459.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/2020030314090080.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI=,size_16,color_FFFFFF,t_70
[Link 1]: https://pan.baidu.com/s/1-V4CgI6IURFBe-yDp2wONg
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200303144332986.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/202003031443470.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200303144401594.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200303144409604.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/2020030314460140.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/2020030314471148.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20200303144801483.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20200303144937178.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/202003031453527.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20200303145439177.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/20200303145516474.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI_size_16_color_FFFFFF_t_70 14]: https://img-blog.csdnimg.cn/20200303145757470.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhZHkxMzI=,size_16,color_FFFFFF,t_70