sqoop2安装详细过程[截图说明]

偏执的太偏执、 2022-07-13 08:29 278阅读 0赞

**本文作者：合肥工业大学 管理学院 钱洋 email：1563178220@qq.com 欢迎交流，禁止将本人博客直接复制下来，上传到百度文库等平台。**

*  安装的准备工作
 *  下载sqoop
 *  解压安装包
 *  创建相关目录
 *  配置sqoop环境变量并使环境变量生效
 *  修改sqoop配置文件
 *  启动sqoop

# 安装的准备工作 #

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

所以，在安装sqoop之前，需要将hadoop安装好，这里hadoop的安装流程不是这里的重点，我就不讲了。

首先，查看自己的hadoop版本好，如下截图所示：  
![这里写图片描述][SouthEast]

使用的命令如下：

[root@master hadoop]# hadoop version

这里的hadoop是2版本，下面进行下载sqoop。

# 下载sqoop #

在如下地址[http://www.us.apache.org/dist/sqoop/][http_www.us.apache.org_dist_sqoop]查看最新的sqoop版本。如下截图所示：

![这里写图片描述][SouthEast 1]

这里最新的版本是1.99.7，就安装这个。  
![这里写图片描述][SouthEast 2]

这里这里需要选择hadoop200的安装包。

我这里就直接下载到windows本地了，然后利用xftp工具上传到了linux中的如下目录中，这里目录是我之前建好的。你可以使用mkdir命令创建。

![这里写图片描述][SouthEast 3]

# 解压安装包 #

进入安装包的目录下，进行解压，使用如下命名：

[root@master hadoop]# cd /home/hadoop/sqoop
    [root@master sqoop]# tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz

如下截图，表示解压过程：  
![这里写图片描述][SouthEast 4]

# 创建相关目录 #

使用如下命令创建两个相关目录：

[root@master sqoop]# mkdir /home/hadoop/sqoop/sqoop-1.99.7-bin-hadoop200/extra
    [root@master sqoop]# mkdir /home/hadoop/sqoop/sqoop-1.99.7-bin-hadoop200/logs

# 配置sqoop环境变量并使环境变量生效 #

使用命令

[root@master sqoop]# vi ~/.bash_profile

在此文件中添加如下截图信息：  
![这里写图片描述][SouthEast 5]

具体如下几行命令：

export SQOOP_HOME=/home/hadoop/sqoop/sqoop-1.99.7-bin-hadoop200
    export PATH=$PATH:$SQOOP_HOME/bin
    export SQOOP_SERVER_EXTRA_LIB=$SQOOP_HOME/extra
    export CATALINA_BASE=$SQOOP_HOME/server
    export LOGDIR=$SQOOP_HOME/logs/

配置完之后使用如下命令是配置文件生效：

[root@master sqoop]# source ~/.bash_profile

# 修改sqoop配置文件 #

在这里，首先需要找到本机器hadoop的安装路径，使用如下命令：

[root@master sqoop]# find / -name hadoop

如下截图所示：  
![这里写图片描述][SouthEast 6]

下面是修改sqoop.properties这个配置文件。使用如下命令：

[root@master sqoop]# cd /home/hadoop/sqoop/sqoop-1.99.7-bin-hadoop200/conf
    [root@master conf]# vim sqoop.properties

在这里可以采用/org.apache.sqoop.submission.engine.mapreduce.configuration.directory搜索hadoop的目录，找到这个目录修改问上面截图中的hadoop目录即可。如下截图  
![这里写图片描述][SouthEast 7]

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/usr/local/hadoop/hadoop-2.7.3/etc/hadoop

接下来，在conf目录下，添加catalina.properties文件。加入本机hadoop的相关jar路径，如下所示：

![这里写图片描述][SouthEast 8]

common.loader=${ catalina.base}/lib,${ catalina.base}/lib/*.jar,${ catalina.home}/lib,${ catalina.home}/lib/*.jar,${ catalina.home}/../lib/*.jar,/usr/local/hadoop/hadoop-2.7.3/share/hadoop/common/*.jar,/usr/local/hadoop/hadoop-2.7.3/share/hadoop/common/lib/*.jar,/usr/local/hadoop/hadoop-2.7.3/share/hadoop/hdfs/*.jar,/usr/local/hadoop/hadoop-2.7.3/share/hadoop/hdfs/lib/*.jar,/usr/local/hadoop/hadoop-2.7.3/share/hadoop/mapreduce/*.jar,/usr/local/hadoop/hadoop-2.7.3/share/hadoop/mapreduce/lib/*.jar,/usr/local/hadoop/hadoop-2.7.3/share/hadoop/tools/lib/*.jar,/usr/local/hadoop/hadoop-2.7.3/share/hadoop/yarn/*.jar,/usr/local/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib/*.jar,/usr/local/hadoop/hadoop-2.7.3/share/hadoop/httpfs/tomcat/lib/*.jar

这里唯一要修改的是你的hadoop安装路径是什么。

到此，sqoop就安装完毕了。

# 启动sqoop #

[root@master conf]# sqoop.sh server start

如下截图所示：  
![这里写图片描述][SouthEast 9]

启动sqoop客户端

[root@master conf]# sqoop.sh client

![这里写图片描述][SouthEast 10]

[SouthEast]: /images/20220713/389298b062fc4469b960f27518535688.png
[http_www.us.apache.org_dist_sqoop]: http://www.us.apache.org/dist/sqoop/
[SouthEast 1]: /images/20220713/6ca920ce6cab4a06aa1745aa64fbef3f.png
[SouthEast 2]: /images/20220713/d644f6854aaa4a5987365e5f901985fe.png
[SouthEast 3]: /images/20220713/5f41717f614d42d298f84eb65cc0db66.png
[SouthEast 4]: /images/20220713/ea4124206c05429b8db95b756baf3d67.png
[SouthEast 5]: /images/20220713/b2037fbd3ea34aef9a9349ca3cc357eb.png
[SouthEast 6]: /images/20220713/f634508bfc4341feb4efa1e084c17c26.png
[SouthEast 7]: /images/20220713/2f98db204cb54b41ba1a285d40cd2482.png
[SouthEast 8]: /images/20220713/53044279ded448eb93a1327b1a54a1de.png
[SouthEast 9]: /images/20220713/86dac1b7a4da4cabab7aef3ec5ff118d.png
[SouthEast 10]: /images/20220713/96374b33df004ee3a2d32024ad30d51f.png