DataX 使用rdbms插件同步数据库

我不是女神ヾ 2023-01-23 09:58 18阅读 0赞

# Hana数据库 #

## 简介 ##

SAP HANA是一款支持企业预置型部署和云部署模式的内存计算平台 ，提供高性能的数据查询功能，用户可以直接对大量实时业务数据进行查询和分析，而不需要对业务数据进行建模、聚合等。SAP内存数据库的数据并不是只在内存里，也会不停写到硬盘里

## 教程 ##

[https://www.w3cschool.cn/sap\_hana/][https_www.w3cschool.cn_sap_hana]

## 引用库信息 ##

<table> 
 <thead> 
  <tr> 
   <th>名字</th> 
   <th>值</th> 
   <th>备注</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Driver Class</td> 
   <td>com.sap.db.jdbc.Driver</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>HANA JDBC Driver</td> 
   <td>ngdbc.jar</td> 
   <td>下载地址 <a href="https://repo1.maven.org/maven2/com/sap/cloud/db/jdbc/ngdbc/2.9.12/" rel="nofollow">https://repo1.maven.org/maven2/com/sap/cloud/db/jdbc/ngdbc/2.9.12/</a></td> 
  </tr> 
  <tr> 
   <td>JDBC URL</td> 
   <td>jdbc:sap://***.***.***.***:30015?reconnect=true</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

## maven依赖 ##

<dependency>
        <groupId>com.sap.cloud.db.jdbc</groupId>
        <artifactId>ngdbc</artifactId>
        <version>2.9.12</version>
        <type>pom</type>
    </dependency>

# DataX同步数据到hana #

有时候我们要同步某些数据库，但发现DataX并未提供该数据库插件。此时，我们可以通过rdbms插件进行同步，该插件使用了jdbc方式进行数据同步，因此可以适用于绝大部分的数据库

如果声明和jar包放在源文件中，则需要重新编译；若直接在生成的target文件下修改，则可以直接使用。

## 查阅说明 ##

datax暂时没有独立插件支持hana，需要使用通用RDBMS；这里是写入hana，使用rdbmswriter。查看官网介绍文档：[https://github.com/alibaba/DataX/blob/master/rdbmswriter/doc/rdbmswriter.md][https_github.com_alibaba_DataX_blob_master_rdbmswriter_doc_rdbmswriter.md]  
![在这里插入图片描述][20210714112204870.png]  
![在这里插入图片描述][20210714111504269.png]

## 声明驱动 ##

需要修改`~/Documents/DataX-master/rdbmswriter/src/main/resources/plugin.json`，注册数据库驱`com.sap.db.jdbc.Driver`

{
        "name": "rdbmswriter",
        "class": "com.alibaba.datax.plugin.reader.rdbmswriter.RdbmsWriter",
        "description": "useScene: prod. mechanism: Jdbc connection using the database, execute select sql, retrieve data from the ResultSet. warn: The more you know about the database, the less problems you encounter.",
        "developer": "alibaba",
        "drivers":["dm.jdbc.driver.DmDriver", "com.sybase.jdbc3.jdbc.SybDriver", "com.edb.Driver", "com.sap.db.jdbc.Driver"]
    }

## 添加驱动 ##

`~/Documents/DataX-master/rdbmswriter/src/main/libs` 目录下添加驱动 ngdbc-2.9.12.jar  
![在这里插入图片描述][20210714160030337.png]

## 重新编译 ##

由于是修改源码，一定要重新编译，命令为`mvn -U clean package assembly:assembly -Dmaven.test.skip=true`，才会影响到target目录

## 生成配置文件 ##

在dataX目录下，执行命令 `python target/datax/datax/bin/datax.py -r mysqlreader -w rdbmswriter` 生成配置文件，然后进行修改。

注意：rdbms不能使用writeMode参数，要手动去掉

{
        "job": {
            "content": [
                {
                    "reader": {
                        "name": "mysqlreader", 
                        "parameter": {
                            "column": [], 
                            "connection": [
                                {
                                    "jdbcUrl": [], 
                                    "table": []
                                }
                            ], 
                            "password": "", 
                            "username": "", 
                            "where": ""
                        }
                    }, 
                    "writer": {
                        "name": "rdbmswriter", 
                        "parameter": {
                            "column": [], 
                            "connection": [
                                {
                                    "jdbcUrl": "", 
                                    "table": []
                                }
                            ], 
                            "password": "", 
                            "preSql": [], 
                            "session": [], 
                            "username": "", 
                            "writeMode": ""
                        }
                    }
                }
            ], 
            "setting": {
                "speed": {
                    "channel": ""
                }
            }
        }
    }

# 可能遇到的错误 #

## 写入模式(writeMode)配置有误 ##

![在这里插入图片描述][20210714170019654.png]查看源码[https://github.com/alibaba/DataX/blob/master/rdbmswriter/src/main/java/com/alibaba/datax/plugin/reader/rdbmswriter/RdbmsWriter.java][https_github.com_alibaba_DataX_blob_master_rdbmswriter_src_main_java_com_alibaba_datax_plugin_reader_rdbmswriter_RdbmsWriter.java]，可知rdbms的writeMode仅支持insert，所以不用填，填了反而会报错

![在这里插入图片描述][20210714165942803.png]

## 未找到库 ##

声明并添加好驱动之后，一定要重新编译 `mvn -U clean package assembly:assembly -Dmaven.test.skip=true`。否则配置不会被更新到 target 目录  
注意：重新编译后job目录下的文件都会被清空！！！  
![在这里插入图片描述][20210714170455939.png]

## 没找到对应驱动jar包 ##

检查`~Documents/DataX-master/target/datax/datax/plugin/writer/rdbmswriter/libs`目录下是否存在该jar包  
检查`~Documents/DataX-master/target/datax/datax/plugin/writer/rdbmswriter/plugin.json`是否正确设置驱动  
![在这里插入图片描述][20210714173309652.png]

[https_www.w3cschool.cn_sap_hana]: https://www.w3cschool.cn/sap_hana/
[https_github.com_alibaba_DataX_blob_master_rdbmswriter_doc_rdbmswriter.md]: https://github.com/alibaba/DataX/blob/master/rdbmswriter/doc/rdbmswriter.md
[20210714112204870.png]: /images/20221004/34447ea002a349b2a5a920548b550f8f.png
[20210714111504269.png]: /images/20221004/9d5b395a73164a9da96f69a68755ac24.png
[20210714160030337.png]: /images/20221004/3a49345351634ab78c9349ca9b841e64.png
[20210714170019654.png]: https://img-blog.csdnimg.cn/20210714170019654.png
[https_github.com_alibaba_DataX_blob_master_rdbmswriter_src_main_java_com_alibaba_datax_plugin_reader_rdbmswriter_RdbmsWriter.java]: https://github.com/alibaba/DataX/blob/master/rdbmswriter/src/main/java/com/alibaba/datax/plugin/reader/rdbmswriter/RdbmsWriter.java
[20210714165942803.png]: /images/20221004/a5e42e956a304cacbb64a9000d1a2659.png
[20210714170455939.png]: /images/20221004/e00e381951d94fa3a664b20f5d51469f.png
[20210714173309652.png]: /images/20221004/d43fc62d9b9649cdacc87300fbcb2a9f.png