数栖数据中台ETL报错问题集

布满荆棘的人生 2022-09-12 00:56 179阅读 0赞

# 1.创建分区出错 #

#  #

com.alibaba.datax.common.exception.DataXException: Code:\[Common-11\], Describe:\[运行时内部调用错误 .\] - 创建分区出错 - org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: FAILED: SemanticException \[Error 10001\]: Table not found TDS\_APP\_KF\_PROBLEM\_FACT

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAaHpwNjY2_size_20_color_FFFFFF_t_70_g_se_x_16][]

原因：ddl层建表的时候，只在开发环境建了hive表，需要在开发环境和 生产环境都建一遍表。

解决方法：在ddl建表时候，加上

use sunriver\_prd;

先加上上句执行建表语句一次，再注释掉执行建表语句， 实现开发和生成环境都建过hive表

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAaHpwNjY2_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

# 2.连接串格式 #

Caused by: java.lang.RuntimeException: 连接串格式\[10.253.1.1\]错误

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAaHpwNjY2_size_20_color_FFFFFF_t_70_g_se_x_16 2][]

原因：Oracle没写端口号

# 3.getDate()时间字段，获取到 明天的日期 #

原因：时区问题

解决方案：第一步：

数据源的时区添加

jdbc:mysql://\*\*\*\*\*\*\*\*\*:3306/middle\_base?serverTimezone=Asia/Shanghai&zeroDateTimeBehavior=convertToNull

第二步：

删掉TDS 、ODS 等新建的 hive表，重建hive表。

再执行数据即可

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAaHpwNjY2_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/acc10595baa049558071e695ebb7020e.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAaHpwNjY2_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/a6c07abd45004f9aa4eb79a524d0ac99.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAaHpwNjY2_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/72d6e6d2cde14f4db071d58225bec169.png