记录一次elastic-job分片查询及基础概念理解

我会带着你远行 2023-06-29 02:59 15阅读 0赞

概念  
任务：从sap同步商品数据  
作业服务器节点：商品中心部署了几台服务器  
分片总数shardingTotalCount：把任务分成几部分执行  
分片索引/分片项shardingItem：分片总数/服务节点

如果：  
2个节点A,B，2个分片，分片索引:0,1 A对应0，B对应1  
3个节点A,B,C，10个分片，分片索引就是：0,1,2,  
数据id/分片=分片项，即根据数据id区分不同服务节点处理的数据  
A服务器节点处理 id除以分片 结果分片项是0的数据  
如果id 1-10,处理id为3,6,9的数据

配置信息  
指定任务执行周期和分片总数  
task:  
    test:  
      cron: 0/5 \* \* \* \* ?  
      \#作业分片总数  
      shardingTotalCount: 3  
      shardingItemParameters: 0=Beijing,1=Shanghai,2=Guangzhou  
      description: 描述  
        
查询sql  
from mid\_base\_product\_info where mod(id, \#\{shardingContext.shardingTotalCount,jdbcType=INTEGER\}) =  
    \#\{shardingContext.shardingItem,jdbcType=INTEGER\}  
    and process\_flag=0

取余是用函数mod(numer1,number2)，其返回的值为其余数值  
如：mod(id,2) = 1 返回id号是奇数的id

参考：[https://blog.csdn.net/qq924862077/article/details/82956790][https_blog.csdn.net_qq924862077_article_details_82956790]

[https_blog.csdn.net_qq924862077_article_details_82956790]: https://blog.csdn.net/qq924862077/article/details/82956790

发表评论取消回复

表情：

评论列表（有 0 条评论，15人围观）

还没有评论，来说两句吧...

相关阅读

相关记录一次Java笔试题记录一次Java笔试题

记录一次Java笔试题一、下列语句片段，运行结果是二、这段代码运行结果是多少？三、Object中有哪些公共方法？四、java中基本数据类型

野性酷女/ 2024年04月05日 06:29/ 0 赞/ 107 阅读

相关一次零基础靶机渗透细节全程记录

一、打靶总流程 1.确定目标：在本靶场中，确定目标就是使用nmap进行ip扫描，确定ip即为目标，只是针对此靶场而言。其他实战中确定目标的方式包括nmap进行扫描

╰+攻爆jí腚メ/ 2023年10月13日 15:53/ 0 赞/ 22 阅读

相关记录一次mysql慢查询的优化过程

前言 > 业务上线后经常报查询超时，数据库使用的是阿里云的RDS，mysql版本是`5.6.16-log`，有几条统计数据的查询语句执行很慢，有的甚至执行一次需要10多秒

布满荆棘的人生/ 2023年10月04日 20:28/ 0 赞/ 87 阅读

相关 excel修改一次记录一次(查看excel修改记录)

excel如何一次修改重复记录查找NK0102 替换NK010201点击全部替换OK 本回答由提问者推荐 ![excel修改一次记录一次][excel] 一个

短命女/ 2023年09月25日 11:16/ 0 赞/ 78 阅读

相关卷积神经网络基础概念理解（一）

卷积神经网络（CNN）概念理解一图片知识 1.通道 2.位深 3.图像深度 4.像素深度 5

心已赠人/ 2023年09月24日 13:36/ 0 赞/ 67 阅读

相关记录一次elastic-job分片查询及基础概念理解

概念任务：从sap同步商品数据作业服务器节点：商品中心部署了几台服务器分片总数shardingTotalCount：把任务分成几部分执行分片索引/分片项

我会带着你远行/ 2023年06月29日 02:59/ 0 赞/ 16 阅读

相关记录一次线上超时异常查询

线上事故复盘前言前一次上线，当时正常，第二天发现有部分超时报警，最终发现应为Dubbo接口一次传输数据量太大导致线程虚拟内存占用线上问题排查过程

超、凢脫俗/ 2023年03月13日 15:26/ 0 赞/ 47 阅读

相关 webpack 基础概念理解

一、webpack 基础概念理解 1. 本质上，`webpack` 是一个现代 `JavaScript` 应用程序的静态模块打包器(`module bundler`)。

叁歲伎倆/ 2023年02月11日 10:26/ 0 赞/ 26 阅读

相关深度学习（一）：准备及基础概念

深度学习（一）：准备及基础概念人工智能、机器学习和深度学习三者关系神经网络基本概念深度学习开发万能公式深度学习一般过程

墨蓝/ 2022年10月30日 06:29/ 0 赞/ 157 阅读

相关 008.MongoDB分片群集概念及原理

一 MongoDB分片介绍 1.1 分片 Mongodb另一种集群，就是分片技术，可以满足MongoDB数据量大量增长的需求。当MongoDB存储海量的数据时，

骑猪看日落/ 2021年11月26日 13:52/ 0 赞/ 358 阅读