ElasticSearch使用中遇到的坑

「爱情、让人受尽委屈。」 2022-02-12 18:47 834阅读 0赞

**1、深度查询分页之数据重复问题**  
【原因】ES查询如果排序字段有重复值，字段的顺序是不固定的，分页越深，重复度可能越高  
【解决】查询的排序字段尽量加上主键，同时排序

**2、金额统计丢失精度问题**  
【原因】金额在定义的时候使用的是float类型，而float的精度不是很准确  
【解决】金额的类型定义为double

**3、update\_time自动更新 + 初始化字段问题**  
【原因】update\_time设置为timestamp，初始化字段时，mysql表所有数据都自动更新了更新时间，同步数据量巨大，且影响了数据  
【解决】update\_time 不要设置为timestamp，或者尽量避免初始化字段

**4、同步数据与数据库更新数据发生并发之数据没有同步问题**  
【原因】同步数据的时候，刚好数据表做了更新，这些更新的数据没有被同步  
【解决】同步数据时，同步update\_time - 5min 以前的数据

**5、初次数据同步，数据丢失问题**  
【原因】同步数据是根据更新时间进行同步的，如果更新时间为空，则这部分数据不能更新到  
【解决】首次同步数据时，确保更新依据的字段不为空

**6、大量数据同步，数据丢失问题**  
【原因】数据行的主键区别度不大，如果有主键相同的记录，可能就同步不到  
【解决】选择表的主键或者唯一索引作为 document\_id

**7、首次同步没有报错，但是数据没有同步**  
【原因】为了解决同步数据和数据库更新的并发问题，抽数SQL的同步条件中有一个表达式：  
update\_time > DATE\_ADD(:sql\_last\_value, INTERVAL -5 MINUTE)  
但是因为首次同步时同步时间文件为空，计算表达式有问题，系统自动向同步时间文件里写入了false  
【解决】首次同步时，同步时间设置一个初始化值，不能为空

**8、同步date类型字段，ES 同步时间 与 真实时间相差8个小时**  
【原因】ES默认存储时间的格式是UTC时间，而中国的时间：CST= UTC + 8  
【解决】读取long型时间戳，然后重新格式化成 yyyy-MM-dd HH:mm:ss

**9、同步字段从date类型改为date\_format(complete\_time, ’ yyyy-MM-dd HH:mm:ss’) 后不能同步数据**  
【原因】ES会以首次同步的类型来定义字段类型，首次用date就会按照date存储，后续经date\_format后变为了string，类型不一致导致不能同步  
【解决】  
将对应type删除，重新同步数据，数据量大时，弊端比较明显

**同步数据有部分数据丢失**  
【原因】logstash同步的配置文件设置了一次同步的数据条数pageSize，相当于按分页同步，当同步下一页的时候，因为数据的顺序变了，没有同步的数据被当作了第一页的数据，故有些数据没有同步到  
【解决】  
在抽数的SQL语句中，加上排序条件，按照主键排序，这样能保证每次分页的数据是固定的，同步就不会遗漏数据了