redis实现对账(集合比较)功能

约定不等于承诺〃 2022-05-30 06:51 144阅读 0赞

现状：每日在进行系统之间的订单对账时，往往是这样的操作流程；  
1.从外部系统拉取数据存入本地数据库；  
2.查询本地订单数据集合localSet；  
3.查询外部系统订单数据集合outerSet;  
4.以本地localSet为基准，对照outerSet，进行遍历，将数据不一致(金额、状态等)，或者localSet存在而outerSet不存在的数据，放入新集合localDiffSet；  
5.以外部outerSet为基准，对照localSet，进行遍历，将数据(金额、状态等)不一致，或者outerSet存在而localSet不存在的数据，放入新集合outerDiffSet；  
6.将localDiffSet与outerDiffSet的数据，存入差异账表  
问题：  
当比对数据无限多，数据全部在JVM中比对，对服务器的影响就比较大，执行效率也低下；

## ——redis解决方案 ##

步骤一：外部系统数据拉取入库  
步骤二：从数据库查询需要比对的数据，本地数据(localSet)，外部系统数据(outerSet)

//---查询订单信息，组成字符串
    SELECT CONCAT(order_no,','outer_order_no,',',trans_amount,',',status) FROM `order_info` where create_time BETWEEN '2015-12-01 00:00:00' and '2015-12-31 23:59:59';

为什么组合成字符串，而不是object对象；因为我们届时要比对的信息就是上述字段，如果字符串一致，那么就说明订单信息一致，而不用再去一一比对对象的属性；  
步骤三：将localSet与outerSet分别存入redis

//相关函数：redis.clients.jedis.JedisCluster.sadd(String key, String... member)
    redisClusterUtils.sadd("{account}:localSet", "GM002215120800002,0.01,3","GM002215120800003,0.01,3");
    redisClusterUtils.sadd("{account}:outerSet", "CZ001215120800010,0.01,3","CZ001215120800013,0.01,1");

注意点：这里的key，必须要用\{\}形式，来指定，使我们要比对的集合都处于同一slot，不然在稍后比对时会出现异常：

No way to dispatch this command to Redis Cluster because keys have different slots.

步骤四：进行2个集合的比对，得出交集union，将交集放入key”\{account\}:union”中

redisClusterUtils.sinterstore("{account}:union", "{account}:localSet", "{account}:outerSet");

步骤五：localSet和outerSet分别与交集进行比较，得出差集\{account\}:localDiff、\{account\}:outerDiff

redisClusterUtils.sdiffstore("{account}:localDiff", "{account}:localSet", "{account}:union");
    redisClusterUtils.sdiffstore("{account}:outerDiff", "{account}:localSet", "{account}:union");

步骤六：将差集的数据存入数据库差异账表

//--获取差集的每个成员
    redisClusterUtils.smembers("{account}:localDiff");
    redisClusterUtils.smembers("{account}:outerDiff")

关于redis集合(Set)操作的的相关命令，[Redis集合命令相关资料][Redis]

[Redis]: http://www.redis.net.cn/tutorial/3511.html