sqoop之安装与配置

r囧r小猫 2021-09-23 15:18 566阅读 0赞

下面来记录并分享下sqoop相关：

1、下载安装包

wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz

2、解压安装包

tar -xvf sqoop-1.99.7-bin-hadoop200.tar.gz
    mv sqoop-1.99.7-bin-hadoop200.tar.gz /usr/lib/sqoop
    cd /usr/lib/sqoop

3、根据实际安装目录配置环境变量

export HADOOP_HOME=
    export HADOOP_COMMON_HOME=
    export HADOOP_HDFS_HOME=
    export HADOOP_MAPRED_HOME=
    export HADOOP_YARN_HOME=
    如果已经配置$HADOOP_HOME变量，sqoop将会使用以下路径下的配置文件：
    $HADOOP_HOME/share/hadoop/common, $HADOOP_HOME/share/hadoop/hdfs, $HADOOP_HOME/share/hadoop/mapreduce and $HADOOP_HOME/share/hadoop/yarn

4、hadoop配置  
修改core-site.xml配置文件：

<property>
      <name>hadoop.proxyuser.sqoop2.hosts</name>
      <value>*</value>
    </property>
    <property>
      <name>hadoop.proxyuser.sqoop2.groups</name>
      <value>*</value>
    </property>

修改container-executor.cfg配置文件：

allowed.system.users=sqoop2

5、配置jar

#创建存放jars的文件夹
    mkdir -p /var/lib/sqoop2/
    #复制所有jdbc驱动到这个目录
    cp mysql-jdbc*.jar /var/lib/sqoop2/
    cp postgresql-jdbc*.jar /var/lib/sqoop2/
    #设置LIB环境变量
    export SQOOP_SERVER_EXTRA_LIB=/var/lib/sqoop2/

6、配置PATH

PATH=$PATH:~pwd~/bin/

7、初始化仓库

sqoop2-tool upgrade

8、启动与停止服务  
默认会使用12000端口，可以在conf/sqoop.properties文件设置org.apache.sqoop.jetty.port来改变端口。  
启动

sqoop2-server start

停止

sqoop2-server stop

发表评论取消回复

表情：

评论列表（有 0 条评论，566人围观）

还没有评论，来说两句吧...

相关阅读

相关 Sqoop安装与部署

Sqoop 安装与部署 -------------------- > 更多Hadoop组件配套安装与部署 > Hadoop：https://blog.csdn

今天药忘吃喽~/ 2023年06月15日 15:23/ 0 赞/ 59 阅读

相关 Sqoop 安装与部署

Sqoop 安装与部署 -------------------- > 更多Hadoop组件配套安装与部署 > Hadoop：https://blog.csdn

た入场券/ 2023年06月15日 11:25/ 0 赞/ 47 阅读

相关 Sqoop详细安装与环境配置

1.Sqoop作用 Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库（如MySQL，Oracle）导入数据到Hadoop HDF

﹏ヽ暗。殇╰゛Y/ 2023年03月01日 09:41/ 0 赞/ 27 阅读

相关 sqoop 连接oracle配置,Sqoop安装配置

Sqoop是一个用来将Hadoop(Hive、HBase)和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库(例如：MySQL ,Oracle ,Postgres等)

一时失言乱红尘/ 2023年01月18日 15:22/ 0 赞/ 40 阅读

相关 Centos7下Sqoop安装与配置

目录 Centos7下Sqoop安装与配置第一步：安装软件（1）上传文件（2）解压文件

我会带着你远行/ 2022年11月21日 09:51/ 0 赞/ 293 阅读

相关 sqoop简介与安装配置

SQOOP的描述 SQOOP是用于对数据进行导入导出的。 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中

你的名字/ 2022年08月05日 16:24/ 0 赞/ 240 阅读

相关 sqoop介绍与安装

sqoop介绍与安装 1 概述 sqoop是Apache旗下的一款“hadoop和关系型数据库服务器之间传送数据”的工具。导入数据：将关系型结构化数据如MyS

骑猪看日落/ 2022年06月12日 11:23/ 0 赞/ 298 阅读

相关 Sqoop 安装与基础命令

一、概述 1. sqoop是Apache 提供的工具，用于hdfs和关系型数据库之间数据的导入和导入 2. 可以从hdfs导出数据到关系型数据库，也可以从关系型数据库

深藏阁楼爱情的钟/ 2022年02月27日 15:34/ 0 赞/ 275 阅读

相关安装配置Sqoop-1.4.7

安装配置Sqoop-1.4.7 1、下载并上传sqoop相关安装，并将其解包解压 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5

客官°小女子只卖身不卖艺/ 2022年01月21日 01:37/ 0 赞/ 298 阅读

相关 sqoop之安装与配置

下面来记录并分享下sqoop相关： 1、下载安装包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1

r囧r小猫/ 2021年09月23日 15:18/ 0 赞/ 567 阅读