七、Hadoop源码编译

喜欢ヅ旅行 2021-09-01 01:59 479阅读 0赞

在上篇博客（[《六、HDFS中的NameNode和SecondaryNameNode》][HDFS_NameNode_SecondaryNameNode]）的CheckPoint时间设置中有用到hdfs-default.xml这个文件，这时候会有很多读者好奇，这个文件到底是在什么地方，因为，通过咱们之前安装的Hadoop并没有发现这个配置文件。这就是咱们本篇博客的目的——源码编译，这个配置文件就是在源码中的，下面一起看看吧~  关注专栏[《破茧成蝶——大数据篇》][Link 1]查看相关系列的文章~

--------------------

**目录**

一、准备工作

二、安装

2.1 安装jdk

2.2 配置maven

2.3 配置ant

2.4 安装相关插件

2.5 配置protobuf

三、编译源码

--------------------

# 一、准备工作 #

1、首先保证系统可以连接外网

2、相关包准备

![20200726151521110.png][]

# 二、安装 #

## 2.1 安装jdk ##

这个操作，在之前搭建Hadoop环境的时候已经做过，此处就不再赘述了，可以参考[《二、Linux下搭建Hadoop的运行环境》][Linux_Hadoop]。

![20200726151758241.png][]

## 2.2 配置maven ##

1、解压

tar -zxvf ./apache-maven-3.0.5-bin.tar.gz -C ../modules/

2、修改settings.xml文件

![20200726151937203.png][]

<mirror>
            <id>nexus-aliyun</id>
            <mirrorOf>central</mirrorOf>
            <name>Nexus aliyun</name>
            <url>http://maven.aliyun.com/nexus/content/groups/public</url>
    </mirror>

![20200726152141768.png][]

3、配置环境变量

[root@master conf]# vi /etc/profile
    ##MAVEN_HOME
    export MAVEN_HOME=/opt/modules/apache-maven-3.0.5
    export PATH=$PATH:$MAVEN_HOME/bin

4、使之生效

source /etc/profile

5、验证

![20200726152837661.png][]

## 2.3 配置ant ##

1、解压

tar -zxvf ./apache-ant-1.9.9-bin.tar.gz -C ../modules/

2、配置环境变量

##ANT_HOME
    export ANT_HOME=/opt/modules/apache-ant-1.9.9
    export PATH=$PATH:$ANT_HOME/bin

3、验证

![20200726153236742.png][]

## 2.4 安装相关插件 ##

yum install -y glibc-headers gcc-c++ cmake make openssl-devel ncurses-devel

## 2.5 配置protobuf ##

1、解压

tar -zxvf ./protobuf-2.5.0.tar.gz -C ../modules/

2、切换到解压目录进行配置安装

[root@master protobuf-2.5.0]# pwd
    /opt/modules/protobuf-2.5.0
    [root@master protobuf-2.5.0]# ./configure
    [root@master protobuf-2.5.0]# make
    [root@master protobuf-2.5.0]# make check
    [root@master protobuf-2.5.0]# make install
    [root@master protobuf-2.5.0]# ldconfig

3、配置环境变量

##LD_LIBRARY_PATH
    export LD_LIBRARY_PATH=/opt/modules/protobuf-2.5.0
    export PATH=$PATH:$LD_LIBRARY_PATH

4、验证

![20200726153822638.png][]

# 三、编译源码 #

1、解压源码包

tar -zxvf hadoop-2.7.2-src.tar.gz -C ../

2、进入源码目录

![20200726154034272.png][]

3、通过maven执行编译命令

[root@master hadoop-2.7.2-src]# mvn package -Pdist,native -DskipTests -Dtar

如果编译成功，会显示如下内容（编译过程时间可能有点长，需要耐心等待）：

![20200726154202725.png][]

编译成功后，Hadoop的tar包在如下位置：

![2020072615435829.png][]

此时，我们也可以看到hdfs-default.xml文件的位置：

![2020072615451849.png][]

至此，本文就讲解完了，你们在这个过程中遇到了什么问题，欢迎留言，让我看看你们遇到了什么问题~

[HDFS_NameNode_SecondaryNameNode]: https://blog.csdn.net/gdkyxy2013/article/details/107577973
[Link 1]: https://blog.csdn.net/gdkyxy2013/category_10006538.html
[20200726151521110.png]: /images/20210726/2a855597013a4143a72d7b9795dbf836.png
[Linux_Hadoop]: https://blog.csdn.net/gdkyxy2013/article/details/106448187
[20200726151758241.png]: /images/20210726/87bb360b697740e2b31e2b2cf9673862.png
[20200726151937203.png]: /images/20210726/71be3f2ee1574da78215d978f01df92c.png
[20200726152141768.png]: /images/20210726/d6a7a730ac6d4ea0a24735fc17a03dba.png
[20200726152837661.png]: /images/20210726/bc19f133210e4efa90ee79cec82ae301.png
[20200726153236742.png]: /images/20210726/4e8eaa44a2c7429aa34881ccfad519d0.png
[20200726153822638.png]: /images/20210726/2d34700c3ea84a31bebb302835e46104.png
[20200726154034272.png]: /images/20210726/456f37f4d4ff4e528622bbc00c61c8fc.png
[20200726154202725.png]: /images/20210726/f706a17932974f8991c1a4f094e8d719.png
[2020072615435829.png]: /images/20210726/7936a9f289424efbbf9be8eae8040ff0.png
[2020072615451849.png]: /images/20210726/4f1fd2012fcb461598532a0c15a407e3.png