sqoop1.4.6连接oracle,Sqoop 1.4.6 安装

浅浅的花香味﹌ 2023-01-19 04:50 32阅读 0赞

下载安装包

http://archive.apache.org/dist/sqoop/1.4.6/sqoop-1.4.6.bin\_\_hadoop-2.0.4-alpha.tar.gz

我装在hadoop 用户下面

hadoop目录是  /home/hadoop/hadoop

hive 目录是   /home/hadoop/hive

sqoop 目录是  /home/hadoop/sqoop

当前目录是 /home/hadoop

tar -zxvf sqoop-1.4.6.bin\_\_hadoop-2.0.4-alpha.tar.gz

mv sqoop-1.4.6.bin\_\_hadoop-2.0.4-alpha sqoop

在 /etc/profile 增加 sqoop 环境变量

export SQOOP\_HOME=/home/hadoop/sqoop

export PATH=$PATH:$SQOOP\_HOME/bin

创建sqoop-env.conf文件

export HADOOP\_COMMON\_HOME=/home/hadoop/hadoop

export HADOOP\_MAPRED\_HOME=/home/hadoop/hadoop

export  HIVE\_HOME=/home/hadoop/hive

![spacer.gif][]

修改$SQOOP\_HOME/bin/configure-sqoop

\#if \[ -z "$\{HCAT\_HOME\}" \]; then

\#  if \[ -d "/usr/lib/hive-hcatalog" \]; then

\#    HCAT\_HOME=/usr/lib/hive-hcatalog

\#  elif \[ -d "/usr/lib/hcatalog" \]; then

\#    HCAT\_HOME=/usr/lib/hcatalog

\#  else

\#    HCAT\_HOME=$\{SQOOP\_HOME\}/../hive-hcatalog

\#    if \[ ! -d $\{HCAT\_HOME\} \]; then

\#       HCAT\_HOME=$\{SQOOP\_HOME\}/../hcatalog

\#    fi

\#  fi

\#fi

\#if \[ -z "$\{ACCUMULO\_HOME\}" \]; then

\#  if \[ -d "/usr/lib/accumulo" \]; then

\#    ACCUMULO\_HOME=/usr/lib/accumulo

\#  else

\#    ACCUMULO\_HOME=$\{SQOOP\_HOME\}/../accumulo

\#  fi

\#fi

\#\# Moved to be a runtime check in sqoop.

\#if \[ ! -d "$\{HCAT\_HOME\}" \]; then

\#  echo "Warning: $HCAT\_HOME does not exist! HCatalog jobs will fail."

\#  echo 'Please set $HCAT\_HOME to the root of your HCatalog installation.'

\#fi

\#

\#if \[ ! -d "$\{ACCUMULO\_HOME\}" \]; then

\#  echo "Warning: $ACCUMULO\_HOME does not exist! Accumulo imports will fail."

\#  echo 'Please set $ACCUMULO\_HOME to the root of your Accumulo installation.'

\#fi

注释掉HCatalog，Accumulo检查(除非你准备使用HCatalog，Accumulo等HADOOP上的组件)

我的sqoop 要把oracle 数据库  导入到hive 里面

所以要用到oracle jdbc 驱动 ojdbc6.jar

从oracle官网上下载此驱动 放在

/home/hadoop/sqoop/lib 目录下。

查看sqoop 版本

\[hadoop@bi-hadoop01 sqoop\]$ sqoop version

Warning: /home/hadoop/sqoop/../hbase does not exist! HBase imports will fail.

Please set $HBASE\_HOME to the root of your HBase installation.

Warning: /home/hadoop/sqoop/../zookeeper does not exist! Accumulo imports will fail.

Please set $ZOOKEEPER\_HOME to the root of your Zookeeper installation.

16/10/13 14:33:44 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6

Sqoop 1.4.6

git commit id c0c5a81723759fa575844a0a1eae8f510fa32c25

Compiled by root on Mon Apr 27 14:38:36 CST 2015

查看 sqoop-import 帮助

执行 sqoop-import --help

测试oracle导入hive数据

sqoop import --hive-import --conect jdbc:oracle:thin:@192.168.106.35:1521:cyporcl --username CYP --password cyp --verbose -m 1 --table CYP\_ETL\_PROC\_CONFIG

注意 用户名 和表名必须大写。

![spacer.gif][]导入成功

![134a0176e6e9c1db42cd5b55910af35c.png][]

![spacer.gif][]

[spacer.gif]: https://blog.51cto.com/e/u261/themes/default/p_w_picpaths/spacer.gif
[134a0176e6e9c1db42cd5b55910af35c.png]: /images/20221021/5bc7ac3aa298411896f2a03ad07cffed.png

发表评论取消回复

表情：

评论列表（有 0 条评论，32人围观）

还没有评论，来说两句吧...

相关阅读

相关 146. LRU Cache

Design and implement a data structure for [Least Recently Used (LRU) cache][Least Recent

Myth丶恋晨/ 2023年07月03日 07:26/ 0 赞/ 58 阅读

相关 Leetcode146--LRU Cache

题目分析对于LRU缓存淘汰算法，这里是基于链表实现的。对于get操作，如果不存在缓存中，直接返回-1,如果存在的话，当前我们又是在get他，那么我们就需要把当前的缓存节

ゝ一纸荒年。/ 2023年01月16日 11:19/ 0 赞/ 164 阅读

相关 146. LRU缓存机制

146. LRU缓存机制题目描述运用你所掌握的数据结构，设计和实现一个 LRU (最近最少使用) 缓存机制。它应该支持以下操作：获取数据 get 和写入数据

我不是女神ヾ/ 2022年12月04日 09:12/ 0 赞/ 264 阅读

相关 146. LRU 缓存机制

运用你所掌握的数据结构，设计和实现一个 LRU (最近最少使用) 缓存机制。实现 LRUCache 类： LRUCache(int capacity) 以正整数

水深无声/ 2022年11月09日 03:51/ 0 赞/ 255 阅读

相关 146. LRU 缓存机制

> 运用你所掌握的数据结构，设计和实现一个 LRU (最近最少使用) 缓存机制。 > 实现 LRUCache 类： > > LRUCache(int capacity

男娘i/ 2022年10月10日 06:02/ 0 赞/ 251 阅读

相关 LeetCode-146. LRU Cache

Problem: > Design and implement a data structure for Least Recently Used (LRU) cache.

逃离我推掉我的手/ 2022年07月28日 11:43/ 0 赞/ 190 阅读

相关 leetcode 146. LRU Cache

Design and implement a data structure for Least Recently Used (LRU) cache. It should sup

本是古典何须时尚/ 2022年07月26日 06:30/ 0 赞/ 203 阅读

相关 146. LRU缓存机制

运用你所掌握的数据结构，设计和实现一个 LRU (最近最少使用) 缓存机制。它应该支持以下操作：获取数据 get 和写入数据 put 。获取数据 get(key) -

傷城~/ 2022年05月13日 18:40/ 0 赞/ 282 阅读

相关 146. LRU缓存机制

运用你所掌握的数据结构，设计和实现一个 LRU (最近最少使用) 缓存机制。它应该支持以下操作：获取数据 get 和写入数据 put 。获取数据 get(key) -

朴灿烈づ我的快乐病毒、/ 2021年12月11日 00:09/ 0 赞/ 299 阅读

相关 leetcode146 LRU Cache

思路：使用unordered\_map和list实现O(1)的put和get。实现： 1 include <bits/stdc++.h> 2 usi

朴灿烈づ我的快乐病毒、/ 2021年12月10日 17:51/ 0 赞/ 289 阅读