sqoop之安装与配置

r囧r小猫 2021-09-23 15:18 489阅读 0赞

下面来记录并分享下sqoop相关：

1、下载安装包

wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz

2、解压安装包

tar -xvf sqoop-1.99.7-bin-hadoop200.tar.gz
    mv sqoop-1.99.7-bin-hadoop200.tar.gz /usr/lib/sqoop
    cd /usr/lib/sqoop

3、根据实际安装目录配置环境变量

export HADOOP_HOME=
    export HADOOP_COMMON_HOME=
    export HADOOP_HDFS_HOME=
    export HADOOP_MAPRED_HOME=
    export HADOOP_YARN_HOME=
    如果已经配置$HADOOP_HOME变量，sqoop将会使用以下路径下的配置文件：
    $HADOOP_HOME/share/hadoop/common, $HADOOP_HOME/share/hadoop/hdfs, $HADOOP_HOME/share/hadoop/mapreduce and $HADOOP_HOME/share/hadoop/yarn

4、hadoop配置  
修改core-site.xml配置文件：

<property>
      <name>hadoop.proxyuser.sqoop2.hosts</name>
      <value>*</value>
    </property>
    <property>
      <name>hadoop.proxyuser.sqoop2.groups</name>
      <value>*</value>
    </property>

修改container-executor.cfg配置文件：

allowed.system.users=sqoop2

5、配置jar

#创建存放jars的文件夹
    mkdir -p /var/lib/sqoop2/
    #复制所有jdbc驱动到这个目录
    cp mysql-jdbc*.jar /var/lib/sqoop2/
    cp postgresql-jdbc*.jar /var/lib/sqoop2/
    #设置LIB环境变量
    export SQOOP_SERVER_EXTRA_LIB=/var/lib/sqoop2/

6、配置PATH

PATH=$PATH:~pwd~/bin/

7、初始化仓库

sqoop2-tool upgrade

8、启动与停止服务  
默认会使用12000端口，可以在conf/sqoop.properties文件设置org.apache.sqoop.jetty.port来改变端口。  
启动

sqoop2-server start

停止

sqoop2-server stop

发表评论取消回复

表情：

评论列表（有 0 条评论，489人围观）

还没有评论，来说两句吧...

相关阅读

相关 sqoop安装

文章目录 1. 上传安装包至虚拟机 2. 解压安装包到指定路径 3. 修改目录名 4. 配置环境变量

小灰灰/ 2023年09月26日 23:23/ 0 赞/ 88 阅读

相关 sqoop mysql 安装_sqoop安装及使用

简介： sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。你可以通过sqoop把数据从数据库(比如mysql,oracle)导入到hdfs中；也可以把数据

傷城~/ 2023年01月12日 12:00/ 0 赞/ 203 阅读

相关 Centos7下Sqoop安装与配置

目录 Centos7下Sqoop安装与配置第一步：安装软件（1）上传文件（2）解压文件

我会带着你远行/ 2022年11月21日 09:51/ 0 赞/ 231 阅读

相关 sqoop简介与安装配置

SQOOP的描述 SQOOP是用于对数据进行导入导出的。 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中

你的名字/ 2022年08月05日 16:24/ 0 赞/ 155 阅读

相关 sqoop介绍与安装

sqoop介绍与安装 1 概述 sqoop是Apache旗下的一款“hadoop和关系型数据库服务器之间传送数据”的工具。导入数据：将关系型结构化数据如MyS

骑猪看日落/ 2022年06月12日 11:23/ 0 赞/ 230 阅读

相关大数据Sqoop系列之Sqoop1.x安装部署

1. 下载链接 [http://mirrors.shuosc.org/apache/sqoop/1.4.6/sqoop-1.4.6.bin\_\_hadoop-2.0.4

客官°小女子只卖身不卖艺/ 2022年06月04日 02:23/ 0 赞/ 166 阅读

相关 sqoop安装

安装sqoop的前提是已经具备java和hadoop的环境 1、下载并解压最新版下载地址http://ftp.wayne.edu/apache/sqoop/1.4.6/

红太狼/ 2022年03月15日 11:12/ 0 赞/ 216 阅读

相关 Sqoop 安装与基础命令

一、概述 1. sqoop是Apache 提供的工具，用于hdfs和关系型数据库之间数据的导入和导入 2. 可以从hdfs导出数据到关系型数据库，也可以从关系型数据库

深藏阁楼爱情的钟/ 2022年02月27日 15:34/ 0 赞/ 202 阅读

相关安装配置Sqoop-1.4.7

安装配置Sqoop-1.4.7 1、下载并上传sqoop相关安装，并将其解包解压 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5

客官°小女子只卖身不卖艺/ 2022年01月21日 01:37/ 0 赞/ 225 阅读

相关 sqoop之安装与配置

下面来记录并分享下sqoop相关： 1、下载安装包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1

r囧r小猫/ 2021年09月23日 15:18/ 0 赞/ 490 阅读