doris入门后遇到的几个问题总结

逃离我推掉我的手 2024-03-30 10:44 122阅读 0赞

#### 文章目录 ####

*  1. Access denied for user 'anonym@null' (using password: NO)
 *  2. timeout when waiting for send fragments RPC. Wait(sec): 5, host: xxx(ip)
 *  3. Failed to initialize JNI: Failed to find the library libjvm.so.
 *  4. 从mysql库导出的json文件大于100M时报错
 *  5. csv格式文件导入数据库报错

## 1. Access denied for user ‘anonym@null’ (using password: NO) ##

JDBC访问doris数据库查询数据时遇到报错如上，是驱动类设置错误，解决方案如下：

> 从JDBC\_DRIVER = “com.mysql.cj.jdbc.Driver”;  
> 改为JDBC\_DRIVER = “com.mysql.jdbc.Driver”;

## 2. timeout when waiting for send fragments RPC. Wait(sec): 5, host: xxx(ip) ##

java.sql.BatchUpdateException: timeout when waiting for send fragments RPC. Wait(sec): 5, host: 10.0.102.153
    	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)

批量插入数据时遇到的超时错误，默认超时时间为300s，可以登录到mysql客户端用命令自定义修改query\_timeout参数，我这里改成了3000s就不报错了。

> SHOW VARIABLES LIKE “%query\_timeout%”;  
> SET query\_timeout = 3000;

## 3. Failed to initialize JNI: Failed to find the library libjvm.so. ##

安装新版doris 1.2.0版本后 启动BE节点失败，报错如下：

> W1212 05:39:14.999809 117327 doris\_main.cpp:382\] Failed to initialize JNI: Failed to find the library libjvm.so.

原因是：最新版有个除了BE和FE安装节点外，还有个apache-doris-java-udf-jar-with-dependencies-1.2.0-bin-x86\_64.tar.xz文件，需要将这个文件中的jar包解压出来放到BE的lib路径下才能启动BE节点。

## 4. 从mysql库导出的json文件大于100M时报错 ##

> The size of this batch exceed the max size \[104857600\] of json type data data \[ 149275596 \]. Split the file, or use ‘read\_json\_by\_line’",

修改了建议的read\_json\_by\_line参数重启be无效  
修改了104857600这个100M对应的参数也没生效，最后加到导入命令里面了，参考我的json文件导入命令：

curl --location-trusted -u root: -H “format: json” -H “fuzzy\_parse” -H “exec\_mem\_limit: 5368709120” -H “strip\_outer\_array: true” -H “streaming\_load\_json\_max\_mb:5000” -T 202212131453.json http://10.0.102.110:8030/api/DORISDB/wh\_ab\_base\_assetinfo/\_stream\_load

## 5. csv格式文件导入数据库报错 ##

根据报错信息中的链接，从浏览器打开查询报错信息。建议先导入少量几条数据测试，核对一下是不是csv文件的字段数、字段长度不一致导致的报错。  
我这里报错是因为源数据中有换行符导致的，这个换行符规则不一，手动替换容易，但是数据量到百万级别后自动替换了也有各种问题，比如有个行多个英文逗号啥的，不建议这个导入方式，虽然csv文件格式体积较小，个人认为它更适合做导出。（csv大数据文件导入问题有更优方案的可以教教我，有奖励）  
最近刚接触doris遇到了一些问题，也是刚开始研究，有兴趣一起学习的吗？  
![在这里插入图片描述][fc3e2ef0e57a4ac380c6d832a26a64c1.gif_pic_center]

[fc3e2ef0e57a4ac380c6d832a26a64c1.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/f0a6d881157a48c7bbb4a9c5ce964b92.gif