Centos7下Sqoop安装与配置

我会带着你远行 2022-11-21 09:51 282阅读 0赞

### 目录 ###

*   *  Centos7下Sqoop安装与配置
     *  第一步：安装软件
     *   *  （1）上传文件
         *  （2）解压文件
     *  第二步：配置环境变量
     *  第三步：修改配置文件
     *  第四步：测试

## Centos7下Sqoop安装与配置 ##

*  电脑系统：macOS 10.15.4
 *  虚拟机软件：Parallels Desktop14
 *  Hadoop各节点节点操作系统：CentOS 7
 *  JDK版本：jdk1.8.0\_162
 *  Hadoop版本：hadoop-2.6.0-cdh5.9.3
 *  sqoop版本：sqoop-1.4.6-cdh5.9.3

sqoop的下载地址：  
[http://archive.cloudera.com/cdh5/cdh/5/][http_archive.cloudera.com_cdh5_cdh_5]  
sqoop的官网：  
[http://sqoop.apache.org/][http_sqoop.apache.org]

## 第一步：安装软件 ##

### （1）上传文件 ###

将本机的安装包上传到虚拟机node1，上传方式：

scp 本机的文件绝对路径 caizhengjie@10.211.55.75:/opt/softwares

### （2）解压文件 ###

上传成功之后需要对文件赋予权限

chmod u+x sqoop-1.4.6-cdh5.9.3.tar.gz

解压文件：

tar -zxvf sqoop-1.4.6-cdh5.9.3.tar.gz -C /opt/modules/

创建软链接：

ln -s sqoop-1.4.6-cdh5.9.3/ sqoop

## 第二步：配置环境变量 ##

vim ~/.bashrc

然后添加以下内容

export SQOOP_HOME=/opt/modules/sqoop
    export PATH=$SQOOP_HOME/bin:$PATH

最后使之生效

source ~/.bashrc

## 第三步：修改配置文件 ##

mv sqoop-env-template.sh sqoop-env.sh

#Set path to where bin/hadoop is available
    export HADOOP_COMMON_HOME=/opt/modules/hadoop
    
    #Set path to where hadoop-*-core.jar is available
    export HADOOP_MAPRED_HOME=/opt/modules/hadoop
    
    #set the path to where bin/hbase is available
    #export HBASE_HOME=
    
    #Set the path to where bin/hive is available
    export HIVE_HOME=/opt/modules/hive
    
    #Set the path for where zookeper config dir is
    #export ZOOCFGDIR=

## 第四步：测试 ##

测试一下sqoop-list-databases  
在测试之前要把mysql的驱动包拷贝到`/opt/modules/sqoop/lib`下。

sqoop list-databases --connect jdbc:mysql://bigdata-pro-m01:3306/ --username root --password 199911

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center]  
其他操作可以查看官方文档：  
[http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html][http_sqoop.apache.org_docs_1.4.7_SqoopUserGuide.html]

--------------------

以上内容仅供参考学习，如有侵权请联系我删除！  
如果这篇文章对您有帮助，左下角的大拇指就是对博主最大的鼓励。您的鼓励就是博主最大的动力！

[http_archive.cloudera.com_cdh5_cdh_5]: http://archive.cloudera.com/cdh5/cdh/5/
[http_sqoop.apache.org]: http://sqoop.apache.org/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/424a3d76499548919f07d014926afd93.png
[http_sqoop.apache.org_docs_1.4.7_SqoopUserGuide.html]: http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html#_example_invocations_10