一个大数据环境下表结构统一导出的工具

妖狐艹你老母 2022-09-10 13:14 31阅读 0赞

[源码连接][Link 1]

### 目录 ###

*  1 catalog-core
 *  2 打包及配置
 *  3 使用
 *   *  3.1 输出 HFile 数据
     *  3.2 输出 Phoenix 表或视图
     *  3.3 输出 HBase 表
     *  3.4 输出 Hive 表
     *  3.5 输出 Impala 表
     *  3.6 输出 Kudu 表
     *  3.7 输出 ClickHouse 表
     *  3.8 输出 MySQL 表

--------------------

# 1 catalog-core #

源码可访问 [https://github.com/yoreyuan/catalog-tools][Link 1]，本项目可用于统一导出 Phoenix、HBase、Hive、Impala、Kudu、ClickHouse、MySQL 的表结构，也可用于解析指定路径（本地/hdfs）上的 HFile 文件为 json。

导出的表结构可以指定为单行，也可以格式化为多行，通过修改 `conf/application.properties` 中如下的配置

#输出的 DDL 语句格式: row(单行)、multiline(多行)
    #catalog.ddl.output.format=multiline
    catalog.ddl.output.format=row

# 2 打包及配置 #

#打包项目
    mvn clean package -DskipTests
    ll catalog-core/target
    tar -zxf catalog-core-1.2.0-bin.tar.gz
    cd catalog-core-1.2.0

├── bin                                     # 脚本所在目录
    │   └── catalog-tools                       # catalog-tools脚本
    ├── conf
    │   ├── application-clickhouse.properties   #应用访问 ClickHouse 的相关配置
    │   ├── application-hive.properties         #应用访问 Hive 的相关配置
    │   ├── application-impala.properties       #应用访问 Impala 的相关配置
    │   ├── application-mysql.properties        #应用访问 MySQL 的相关配置
    │   ├── application-phoenix.properties      #应用访问 Phoenix 的相关配置
    │   ├── application.properties              #应用主配置
    │   ├── core-site.xml                       #需替换为自己Hadoop的的配置
    │   ├── hbase-site.xml                      #需替换为自己HBase的的配置
    │   ├── hdfs-site.xml                       #需替换为自己Hadoop的的配置
    │   ├── hfile-config.properties             #HFile相关配置
    │   ├── kudu-config.properties              #Kudu相关配置
    │   └── phoenix
    ├── lib                                     #项目jar包库目录
     ……
    ├── logs                                    # 项目日志目录
    └── pid                                     # PID
    6 directories, 293 files

# 3 使用 #

# 1 帮助信息
    bin/catalog-tools help
    
    # 2 查看当前项目版本
    bin/catalog-tools version
    
    # 3 查看示例
    bin/catalog-tools demo
    
    # 4 加密字符串
    bin/catalog-tools enc 123456
    
    # 5 查看某个命令的运行状态
    # 目前支持： phoenix、hfile、hbase、hive、impala、kudu、clickhouse、mysql
    bin/catalog-tools phoenix status
    
    # 6 手动关闭指定服务
    bin/catalog-tools phoenix stop

进行下面操作之前需先配置 `conf/application.properties`中相关配置项。如果需访问 HBase ，还需将 `hbase-site.xml`，及 hdfs 相关的配置（`core-site.xml`、`hdfs-site.xml`）放到 `conf/` 下。

## 3.1 输出 HFile 数据 ##

目前仅支持输出为 json。需先配置 `conf/hfile-config.properties`（例如 `file.model=hdfs`，`out.print.type=string`）

# 输出到 out/hfile-kv-2021-08-20.json 中
    bin/catalog-tools hfile out/hfile-kv-2021-08-20.json \
    /apps/hbase/data/data/SYSTEM/CATALOG/d1dffe0be9a37d9734deead8367ce8a5/0/9d600b80522d4f82b976c55f72adbf0f ...

## 3.2 输出 Phoenix 表或视图 ##

需先配置 `conf/application-phoenix.properties`

# 输出指定表或视图
    bin/catalog-tools phoenix out/phoenix-DDL-2021-08-20-part.sql table_name1 table_name2 view_name1 ...
    
    # 输出所有表或视图
    bin/catalog-tools phoenix out/phoenix-DDL-2021-08-20.sql
    
    # 查看状态
    bin/catalog-tools phoenix status
    
    # 查看日志
    tail -f logs/tools-phoenix-localhost.out

## 3.3 输出 HBase 表 ##

需先根据 3.1 和 3.2 进行配置

# 输出指定表
    bin/catalog-tools hbase out/hbase-table-DDL-2021-08-20-part.txt table_name1 table_name2 ...
    
    # 输出所有表
    bin/catalog-tools hbase out/hbase-table-DDL-2021-08-20.txt
    
    # 查看状态
    bin/catalog-tools hbase status
    
    # 查看日志
    tail -f logs/tools-hbase-localhost.out

## 3.4 输出 Hive 表 ##

需先配置 `conf/application-hive.properties`

# 输出指定表
    bin/catalog-tools hive out/hive-table-DDL-2021-08-20-part02.sql db_name table_name1 table_name2 ...
    
    # 输出指定库下的所有表
    bin/catalog-tools hive out/hive-table-DDL-2021-08-20-part01.sql db_name
    
    # 输出所有表
    bin/catalog-tools hive out/hive-table-DDL-2021-08-20.sql
    
    # 查看状态
    bin/catalog-tools hive status
    
    # 查看日志
    tail -f logs/tools-hive-localhost.out

## 3.5 输出 Impala 表 ##

需先配置 `conf/application-impala.properties`

# 输出指定表
    bin/catalog-tools impala out/impala-table-DDL-2021-08-20-part02.sql db_name table_name1 table_name2 ...
    
    # 输出指定库下的所有表
    bin/catalog-tools impala out/impala-table-DDL-2021-08-20-part01.sql db_name
    
    # 输出所有表
    bin/catalog-tools impala out/impala-table-DDL-2021-08-20.sql
    
    # 查看状态
    bin/catalog-tools impala status
    
    # 查看日志
    tail -f logs/tools-impala-localhost.out

## 3.6 输出 Kudu 表 ##

需先配置 `conf/kudu-config.properties`（例如 `kudu.master`，`catalog.level`，和可选的过滤规则）。配置项 `catalog.level` 默认值为 list，对于环境中的 Kudu 不支持 `kudu table create <master_addresses> <create_table_json>` 命令的建议使用 Impala 方式导出表结构。

**注意**：当指定了具体的表名时，过滤规则将自动忽略。

*  当 `catalog.level=list`，或者默认值时

# 输出指定表名
    bin/catalog-tools kudu out/kudu-table-list-2021-08-20-part.txt table_name1 table_name2 ...
    
    # 输出所有表名
    bin/catalog-tools kudu out/kudu-table-list-2021-08-20.txt

*  当 `catalog.level=ddl`，或者默认值时

# 输出指定表
    bin/catalog-tools kudu out/kudu-table-DDL-2021-08-20-part.json table_name1 table_name2 ...
    
    # 输出所有表
    bin/catalog-tools kudu out/kudu-table-DDL-2021-08-20.json

## 3.7 输出 ClickHouse 表 ##

需先配置 `conf/application-clickhouse.properties`

# 输出指定表
    bin/catalog-tools clickhouse out/clickhouse-table-DDL-2021-08-20-part02.sql db_name table_name1 table_name2 ...
    
    # 输出指定库下的所有表
    bin/catalog-tools clickhouse out/clickhouse-table-DDL-2021-08-20-part01.sql db_name
    
    # 输出所有表
    bin/catalog-tools clickhouse out/clickhouse-table-DDL-2021-08-20.sql
    
    # 查看状态
    bin/catalog-tools clickhouse status
    
    # 查看日志
    tail -f logs/tools-clickhouse-localhost.out

## 3.8 输出 MySQL 表 ##

需先配置 `conf/application-mysql.properties`

# 输出指定表
    bin/catalog-tools mysql out/mysql-table-DDL-2021-08-20-part02.sql db_name table_name1 table_name2 ...
    
    # 输出指定库下的所有表
    bin/catalog-tools mysql out/mysql-table-DDL-2021-08-20-part01.sql db_name
    
    # 输出所有表
    bin/catalog-tools mysql out/mysql-table-DDL-2021-08-20.sql
    
    # 查看状态
    bin/catalog-tools mysql status
    
    # 查看日志
    tail -f logs/tools-mysql-localhost.out

[Link 1]: https://github.com/yoreyuan/catalog-tools