Redis基于eval的多字段原子增量计算

我就是我 2022-05-13 14:04 97阅读 0赞

# **目录** #

目录 1

1. 前言 1

2. 优点 1

3. 方法一：使用struct 2

3.1. 设置初始值（覆盖原有的，如果存在） 2

3.2. 查询k1的值 2

3.3. 设置初始值（覆盖原有的，如果存在） 2

3.4. 查询k1的值 2

3.5. 增量操作（增1） 2

3.6. 查询k1的值 3

3.7. 增量操作（增1） 3

3.8. 查询k1的值 3

3.9. pack和unpack 3

3.10. AOF文件 3

3.11. 进化的增量操作 4

3.12. 进化的查询操作 4

4. 方法二：使用CJSON 5

5. 方法三：使用CMSGPACK 5

6. 方法四：借助Redis的module 5

6.1. 参考一：rediSQL 5

6.2. 参考二：ReJSON 5

# **1. 前言** #

一些应用场景需要对多个值进行原子计数，Redis的eval+hincrby可以达到目标，但如果计算的字段比较多时，效率会是个问题，它的时间复杂度为O(N)，而且对于查询也同样如此。如果能将所有字段作为一个个struct成员，时间复杂度会固定下来。如果能象C/C++中的引用或指针操作，时间复杂度可以降低到O(1)，否则考虑先get再set，这样时间复杂度为O(2)，当字段数较多时，比如达到10个甚至更多时，相比O(N)就好了许多。

# **2. 优点** #

1）不需要hash，普通kv即可实现多字段的计数，而且是原子操作

2）当字段较多时，性能不会线性下降（hincrby多字段操作性能会线性下降，因为多字段hincrby操作时间复杂度为O(n)）

3）当字段较多时，查询性能不变，保持为O(1)

# **3. 方法一：使用struct** #

## **3.1. 设置初始值（覆盖原有的，如果存在）** ##

调用struct的**pack**函数打包（序列化）两个字段的值56和78，并将该struct赋值给本地变量a（注意Redis内的lua不支持全局变量，如果需要全局变通，可变通使用Redis的KV），然后将变量a作为k1的值设置进去。

<table style="width:426.1pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:426.1pt;"> 127.0.0.1:6379&gt;&nbsp;EVAL&nbsp;'local&nbsp;a;a=struct.pack("ll",56,78);local&nbsp;x=redis.call("set","k1",a);return&nbsp;x;'&nbsp;0 OK </td> 
 </tr> 
 </tbody> 
</table>

## **3.2. 查询k1的值** ##

因为struct是个二进制值，因为取到值时，需要先**unpack**反序列化（解包）。

<table style="width:426.1pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:426.1pt;"> 127.0.0.1:6379&gt;&nbsp;eval&nbsp;'local&nbsp;x=redis.call("get","k1");local&nbsp;m,n=struct.unpack("ll",x);return&nbsp;{m,n}'&nbsp;0 1)&nbsp;(integer)&nbsp;56 2)&nbsp;(integer)&nbsp;78 </td> 
 </tr> 
 </tbody> 
</table>

## **3.3. 设置初始值（覆盖原有的，如果存在）** ##

<table style="width:426.1pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:426.1pt;"> 127.0.0.1:6379&gt;&nbsp;EVAL&nbsp;'local&nbsp;a;a=struct.pack("lll",56,78,99);local&nbsp;x=redis.call("set","k1",a);return&nbsp;x;'&nbsp;0 OK </td> 
 </tr> 
 </tbody> 
</table>

## **3.4. 查询k1的值** ##

<table style="width:426.1pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:426.1pt;"> 127.0.0.1:6379&gt;&nbsp;eval&nbsp;'local&nbsp;x=redis.call("get","k1");local&nbsp;m,n,l=struct.unpack("lll",x);return&nbsp;{m,n,l}'&nbsp;0 1)&nbsp;(integer)&nbsp;56 2)&nbsp;(integer)&nbsp;78 3)&nbsp;(integer)&nbsp;99 </td> 
 </tr> 
 </tbody> 
</table>

## **3.5. 增量操作（增1）** ##

这内含两个Redis操作：get和set两个操作，因此时间复杂度为O(2)。

<table style="width:426.1pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:426.1pt;"> 127.0.0.1:6379&gt;&nbsp;eval&nbsp;'local&nbsp;x=redis.call("get","k1");local&nbsp;m,n,l=struct.unpack("lll",x);m=m+1;n=n+1;l=l+1;local&nbsp;a=struct.pack("lll",m,n,l);local&nbsp;z=redis.call("set","k1",a);return&nbsp;z;'&nbsp;0 OK </td> 
 </tr> 
 </tbody> 
</table>

## **3.6. 查询k1的值** ##

<table style="width:426.1pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:426.1pt;"> 127.0.0.1:6379&gt;&nbsp;eval&nbsp;'local&nbsp;x=redis.call("get","k1");local&nbsp;m,n,l=struct.unpack("lll",x);return&nbsp;{m,n,l}'&nbsp;0 1)&nbsp;(integer)&nbsp;57 2)&nbsp;(integer)&nbsp;79 3)&nbsp;(integer)&nbsp;100 </td> 
 </tr> 
 </tbody> 
</table>

## **3.7. 增量操作（增1）** ##

<table style="width:426.1pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:426.1pt;"> 127.0.0.1:6379&gt;&nbsp;eval&nbsp;'local&nbsp;x=redis.call("get","k1");local&nbsp;m,n,l=struct.unpack("lll",x);m=m+1;n=n+1;l=l+1;local&nbsp;a=struct.pack("lll",m,n,l);local&nbsp;z=redis.call("set","k1",a);return&nbsp;z;'&nbsp;0 OK </td> 
 </tr> 
 </tbody> 
</table>

## **3.8. 查询k1的值** ##

<table style="width:426.1pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:426.1pt;"> 127.0.0.1:6379&gt;&nbsp;eval&nbsp;'local&nbsp;x=redis.call("get","k1");local&nbsp;m,n,l=struct.unpack("lll",x);return&nbsp;{m,n,l}'&nbsp;0 1)&nbsp;(integer)&nbsp;58 2)&nbsp;(integer)&nbsp;80 3)&nbsp;(integer)&nbsp;101 </td> 
 </tr> 
 </tbody> 
</table>

## **3.9. pack和unpack** ##

Redis内置支持struct，pack和unpack中的第一个参数为格式参数，其中单个“l”表示有符号long类型，大写的“L”则表示无符号的long类型，更多可以参见eval命令的说明：[https://redis.io/commands/eval][https_redis.io_commands_eval]。

## **3.10. AOF文件** ##

上述操作对应的AOF文件内容：

<table style="width:426.1pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:426.1pt;"> $&nbsp;tail&nbsp;-f&nbsp;appendonly-6379.aof&nbsp; *2 $6 SELECT $1 0 *3 $4 EVAL $76 local&nbsp;a;a=struct.pack("ll",56,78);local&nbsp;x=redis.call("set","k1",a);return&nbsp;x; $1 0 &nbsp; *3 $4 EVAL $80 local&nbsp;a;a=struct.pack("lll",56,78,99);local&nbsp;x=redis.call("set","k1",a);return&nbsp;x; $1 0 &nbsp; *3 $4 eval $159 local&nbsp;x=redis.call("get","k1");local&nbsp;m,n,l=struct.unpack("lll",x);m=m+1;n=n+1;l=l+1;local&nbsp;a=struct.pack("lll",m,n,l);local&nbsp;z=redis.call("set","k1",a);return&nbsp;z; $1 0 &nbsp; *3 $4 eval $159 local&nbsp;x=redis.call("get","k1");local&nbsp;m,n,l=struct.unpack("lll",x);m=m+1;n=n+1;l=l+1;local&nbsp;a=struct.pack("lll",m,n,l);local&nbsp;z=redis.call("set","k1",a);return&nbsp;z; $1 0 </td> 
 </tr> 
 </tbody> 
</table>

## **3.11. 进化的增量操作** ##

可用于生产环境的增量操作，允许被操作的key不存在（大小超过200字节）：

<table style="width:426.1pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:426.1pt;"> eval&nbsp;'local&nbsp;x=redis.call("get",KEYS[1]);&nbsp;local&nbsp;m,n,l;if&nbsp;(x)&nbsp;then&nbsp;m,n,l=struct.unpack("lll",x);m=m+ARGV[1];n=n+ARGV[2];l=l+ARGV[3];&nbsp;else&nbsp;m=ARGV[1];n=ARGV[2];l=ARGV[3];&nbsp;end;&nbsp;local&nbsp;a=struct.pack("lll",m,n,l);local&nbsp;z=redis.call("set",KEYS[1],a);return&nbsp;z;'&nbsp;1&nbsp;"k1"&nbsp;1&nbsp;2&nbsp;3 </td> 
 </tr> 
 </tbody> 
</table>

## **3.12. 进化的查询操作** ##

可用于生产环境的查询操作，允许被查询的key不存在：

<table style="width:426.1pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:426.1pt;"> eval&nbsp;'local&nbsp;x=redis.call("get",KEYS[1]);&nbsp;if&nbsp;(x)&nbsp;then&nbsp;local&nbsp;m,n,l=struct.unpack("lll",x);return&nbsp;{m,n,l};&nbsp;else&nbsp;return&nbsp;x;&nbsp;end;'&nbsp;1&nbsp;"k1" </td> 
 </tr> 
 </tbody> 
</table>

# **4. 方法二：使用CJSON** #

暂略。

# **5. 方法三：使用CMSGPACK** #

暂略。

# **6. 方法四：借助Redis的module** #

## **6.1. 参考一：rediSQL** ##

[https://github.com/RedBeardLab/rediSQL][https_github.com_RedBeardLab_rediSQL]

## **6.2. 参考二：ReJSON** ##

[https://github.com/RedisLabsModules/ReJSON][https_github.com_RedisLabsModules_ReJSON]

[https_redis.io_commands_eval]: https://redis.io/commands/eval
[https_github.com_RedBeardLab_rediSQL]: https://github.com/RedBeardLab/rediSQL
[https_github.com_RedisLabsModules_ReJSON]: https://github.com/RedisLabsModules/ReJSON