Hadoop集群的基本操作（五：Sqoop的基本操作）

曾经终败给现在 2022-01-28 10:11 478阅读 0赞

<table style="width:654px;"> 
 <tbody> 
 <tr> 
 <td style="width:54.6pt;"> 实验 目的 要求 </td> 
 <td colspan="4" style="width:436.05pt;"> &nbsp; 目的： 
 <ol> 
 <li>掌握ETL工具Sqoop的使用；</li> 
 <li>掌握MySQL和HDFS之间的数据转换；</li> 
 </ol>要求： 
 <ol> 
 <li>掌握ETL工具Sqoop的使用；</li> 
 <li>能够正常操作数据库、表、数据；</li> 
 </ol>&nbsp; </td> 
 </tr> 
 <tr> 
 <td style="width:54.6pt;"> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 实 验 环 境 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; </td> 
 <td colspan="4" style="width:436.05pt;"> &nbsp; 
 <ol> 
 <li>五台独立PC式虚拟机；</li> 
 <li>主机之间有有效的网络连接；</li> 
 <li>每台主机内存2G以上，磁盘50G；</li> 
 <li>所有主机上安装CentOS7-64位操作系统；</li> 
 <li>所有主机已完成静态网络地址、主机名、主机地址映射的配置；</li> 
 <li>已完成Hadoop平台的搭建；</li> 
 <li>已完成MySQL数据库平台的搭建；</li> 
 <li>已完成Hbase的安装；</li> 
 <li>已完成Hive数据仓库的安装；</li> 
 <li>已完成Sqoop工具的安装</li> 
 </ol>&nbsp; &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

# 练习内容 #

## **步骤一：集群的启动** ##

★ 该项的所有操作步骤使用专门用于集群的用户admin进行。

★ 启动HBase集群之前首先确保Zookeeper集群已被开启状态。（实验5台），Zookeeper的启动需要分别在每个计算机的节点上手动启动。如果家目录下执行启动报错，则需要进入zookeeper/bin目录执行启动命令。

★ 启动HBase集群之前首先确保Hadoop集群已被开启状态。 （实验5台）Hadoop只需要在主节点执行启动命令。

a) 在集群中所有主机上使用命令“zkServer.sh status”查看该节点Zookeeper服务当前的状态，若集群中只有一个“leader”节点，其余的均为“follower”节点，则集群的工作状态正常。如果Zookeeper未启动，则在集群中所有主机上使用命令“zkServer.sh start”启动Zookeeper服务的脚本;

![20190523221616815.jpeg][]![20190523221616816.jpeg][]![20190523221616819.jpeg][]![20190523221616913.jpeg][]                ![20190523221616828.jpeg][]

b) 在主节点，查看Java进程信息，若有名为“NameNode”、“ResourceManager”的两个进程，则表示Hadoop集群的主节点启动成功。在每台数据节点，若有名为“DataNode”和“NodeManager”的两个进程，则表示Hadoop集群的数据节点启动成功, 如果不存在以上三个进程，则在主节点使用此命令,启动Hadoop集群。

主节点及备用主节点：

![20190523221616839.jpeg][]![20190523221616850.jpeg][]

通信节点：

![20190523221616841.jpeg][]![20190523221616846.jpeg][]![20190523221616956.jpeg][]

c) 确定Hadoop集群已启动状态，然后在主节点使用此命令,启动HBase集群, 在集群中所有主机上使用命令“jps”;

![20190523221616859.jpeg][]

1、在主节点使用命令“hive”启动Hive，启动成功后能够进入Hive的控制台。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70][]

2、在控制台中使用命令“show databases;”查看当前的数据库列表。

![20190523221616866.png][]

3、在主节点使用命令“sqoop2-tool verify”验证配置是否正确；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 1][]

4、使用命令“sqoop2-server start”启动Sqoop服务器，并查看java进程，若有名为“SqoopJettyServer”的进程，则表示Sqoop启动成功；

![20190523221616871.png][]

5、使用命令“sqoop2-shell”进入Sqoop的控制台；

![20190523221616970.png][]

6、MySQL集群使用root用户进行操作；

a)启动管理节点；

![20190523221616877.jpeg][]

b)启动数据服务节点；

![20190523221616884.png][]

![20190523221616886.png][]

c)启动SQL服务节点；

![20190523221616888.jpeg][]

![20190523221616890.jpeg][]

## 练习一：MySQL->HDFS ##

注：\*MySQL集群使用root用户进行操作；

\*Hadoop、Hbase、Hive、Sqoop使用admin用户进行操作；

1、初始化Sqoop服务器连接参数；

命令：

$sqoop2-shell

>set server –host Cluster-01 –port 12000 –webapp sqoop

>show version –all

>show connector

![20190523221616911.png][]

2、建立MySQL测试表空间、表和数据；

a)创建用户sqoop并授权；

命令：

$mysql -uroot -pmysqlabc

>grant all privileges on \*.\* to 'sqoop'@'%' identified by 'sqoop' with grant option;

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 2][]

b)创建表空间（schema）sqoop，并创建测试表；

命令：

$create database sqoop；

>use sqoop;

>create table students (id int not null primary key,name varchar(20),age int);

>show tables;

>select \* from students;

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 4][]

c)插入测试数据；

> insert into students values('10001','liyang',29);

> insert into students values('10002','lion',28);

> insert into students values('10003','leon',26);

> select \* from students；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 5][]

3、建立MySQL数据库连接

a) 把MySQL的数据库连接工具包“**mysql-connector-java-5.1.42-bin.jar**”上传到用户家目录的“**setups**”目录下，该目录为事先自行创建用于存放实训相关软件包的目录。

![20190523221616933.png][]

b) 将MySQL的数据库连接工具包添加到Sqoop的“**extra**”目录下

命令：

**$ cp ~/setups/mysql-connector-java-5.1.42-bin.jar ~/sqoop/sqoop-1.99.7-bin-hadoop200/extra**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 6][]

c)创建数据库连接；

命令：

>sqoop2-shell

>create link -connector generic-jdbc-connector

>show link

![20190523221616948.png][]

d)建立HDFS文件系统连接；

命令：

$sqoop2-shell

>create link -connector hdfs-connector

>show link;

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 7][]

e)在HDFS创建用于存放导出的数据文件的目录；

命令：

\#su admin

$hadoop fs -mkdir -p /user/admin/test/sqoop

![20190523221616976.png][]

f)创建数据传输事物；

命令：

$sqoop2-shell

>create job -f mysql-sqoop -t HDFS-sqoop

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 8][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 9][]

g)web查看

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 10][]

## 练习二： ##

1、在admin用户家目录/home/admin/新建一个文本文件test001.txt，内容如下：

*  1,lcuy,25,18133333333
 *  2,lili,20,18044444444
 *  3,yueyue,24,18955555555

![20190523221633961.png][]

2、从本地文件系统复制文件到HDFS文件系统；

命令：

$ hadoop fs -put test001.txt /user/admin/test001.txt

$ hadoop fs -ls /user/admin/

$ hadoop fs -cat /user/admin/test001.txt

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 11][]

3、在Mysql提前创建好表结构；

命令：

\# mysql -uroot -pmysqlabc

> show databases;

> grant all privileges on \*.\* to 'sqoop'@'%' identified by 'sqoop' with grant option;

> CREATE DATABASE sqoop;

> use sqoop;

> create table test001(id int not null primary key,name varchar(20),age int,tel varchar(20));

> select\*from test001;

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 12][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 13][]

4、创建job并执行导入到MySQL中；

命令：

> show job

> start job -n HDFS-mysql

> status job -n HDFS-mysql

> exit

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 14][]

![201905232216348.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 15][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 16][]

5、在MySQL查询导入的数据；

命令：

\# mysql -uroot -pmysqlabc

> show databases;

> use sqoop;

> show tables;

> select\*from test001;

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 17][]

[20190523221616815.jpeg]: https://img-blog.csdnimg.cn/20190523221616815.jpeg
[20190523221616816.jpeg]: https://img-blog.csdnimg.cn/20190523221616816.jpeg
[20190523221616819.jpeg]: https://img-blog.csdnimg.cn/20190523221616819.jpeg
[20190523221616913.jpeg]: https://img-blog.csdnimg.cn/20190523221616913.jpeg
[20190523221616828.jpeg]: /images/20220128/95df516cd28944cb8eb443ffa0cd8565.png
[20190523221616839.jpeg]: https://img-blog.csdnimg.cn/20190523221616839.jpeg
[20190523221616850.jpeg]: /images/20220128/c58ae61c221f4f999816bf68d01eaafe.png
[20190523221616841.jpeg]: https://img-blog.csdnimg.cn/20190523221616841.jpeg
[20190523221616846.jpeg]: https://img-blog.csdnimg.cn/20190523221616846.jpeg
[20190523221616956.jpeg]: /images/20220128/98f4841b1e044813b1fda5a0342b531b.png
[20190523221616859.jpeg]: /images/20220128/bb8559cdc89a4bc89692a8ae4a47edb2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70]: /images/20220128/e6f1e5b8a47a4319855df19ecf1326cd.png
[20190523221616866.png]: /images/20220128/0d48024698c244baa31e2e414bf8c5b6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 1]: /images/20220128/3c71e0943bb5404592cb880706f47186.png
[20190523221616871.png]: /images/20220128/25b2bb3d42c84ca2977f0f44e622366f.png
[20190523221616970.png]: /images/20220128/fee01b02548b4d0e9226813ef853f88e.png
[20190523221616877.jpeg]: /images/20220128/6370c43033d747fbb7e316bf6f9cd23e.png
[20190523221616884.png]: /images/20220128/9b96c9c477634ce0a15b6e62dc6dd953.png
[20190523221616886.png]: /images/20220128/667e10ac724a42deba2caeda73bd9873.png
[20190523221616888.jpeg]: /images/20220128/403866d0c2174513991610eb3ac5d5be.png
[20190523221616890.jpeg]: /images/20220128/304f05ff3f8e472ca303f3a85f18092c.png
[20190523221616911.png]: /images/20220128/9e9395af869f4641b721c5d276bb5351.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 2]: /images/20220128/4fe6d871d2314480bd1a6f7de34c5d46.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 3]: /images/20220128/a3a9eef490a54fdbb36f78d45aa54b3f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 4]: /images/20220128/c268cccd8ba54374b710a586d125b457.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 5]: /images/20220128/b0144ec0a4994ab3878e571365ee400d.png
[20190523221616933.png]: /images/20220128/669bbcd3a62c43f1b99c0fcc4c854ab5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 6]: /images/20220128/2813ff4d6a0145968dd6e566e4adeb07.png
[20190523221616948.png]: /images/20220128/9fc618cd77054255a928d8b90c353c3a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 7]: /images/20220128/b2cd5638b46a4b2fa81ddf205b631eb2.png
[20190523221616976.png]: /images/20220128/7565014e6b8a4de9924b1c002ffdafac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 8]: /images/20220128/911f7ec0291d46c2b2c176f055bf0cca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 9]: /images/20220128/efa320b2f3c948a0ab2f240b200ba411.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 10]: /images/20220128/c85a85f3a71843f1866baa21dee9b0cd.png
[20190523221633961.png]: /images/20220128/8d3d40afffe74edfb80fe1db88c09741.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 11]: /images/20220128/db885fa7bb4a4b8d90d5d45d8a83e824.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 12]: /images/20220128/ae8aea84bf664d889fe3e8056f6d2a8d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 13]: /images/20220128/6340544206bb437c9b499a3dbcdc71d0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 14]: /images/20220128/29610f823eb24e3a9242ace54c9ebd4a.png
[201905232216348.png]: /images/20220128/674eb616275e4caba8aabed0f511b036.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 15]: /images/20220128/9eb89d3651a8455dab647640653e9158.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 16]: /images/20220128/51c1d496d6414f7c8d78cdcb50cb4169.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 17]: /images/20220128/dac9f8652cfc4009a846dc78b0741e48.png