Redis控制调用频率

青旅半醒 2022-06-13 11:39 278阅读 0赞

网站功能中好多地方用到了调用或访问频率的统计、限制，利用Redis可以实现访问频次的限制。  
Redis官网中对incr命令的介绍中讲到了关于如何用redis来做rate limit的探讨。  
官网地址为（英文、中文）：  
[https://redis.io/commands/INCR\#pattern-rate-limiter][https_redis.io_commands_INCR_pattern-rate-limiter]  
[http://www.redis.cn/commands/incr.html][http_www.redis.cn_commands_incr.html]

**模式：Counter**  
Redis的原子递增操作最常用的使用场景是计数器。  
使用思路是：每次有相关操作的时候，就向Redis服务器发送一个incr命令。  
例如这样一个场景：我们有一个web应用，我们想记录每个用户每天访问这个网站的次数。  
web应用只需要通过拼接用户id和代表当前时间的字符串作为key，每次用户访问这个页面的时候对这个key执行一下incr命令。  
这个场景可以有很多种扩展方法:  
1.通过结合使用INCR和EXPIRE命令，可以实现一个只记录用户在指定间隔时间内的访问次数的计数器  
2.客户端可以通过GETSET命令获取当前计数器的值并且重置为0  
3.通过类似于DECR或者INCRBY等原子递增/递减的命令，可以根据用户的操作来增加或者减少某些值 比如在线游戏，需要对用户的游戏分数进行实时控制，分数可能增加也可能减少。

**模式：Rate limiter**  
频次限制器模式是一种特殊的计数器，它常被用来限制某个操作可以被执行的频次。这个模式的实质其实是限制对一个公共API执行访问请求的次数限制。我们使用incr命令提供该模式的两种实现。这里我们假设需要解决的问题是：对每个IP，限制对某API的调用次数最高位10次每秒。  
**模式：Rate limiter 1**  
对该模式一个相对简单和直接的实现，请见如下代码：

FUNCTION LIMIT_API_CALL(ip)
    ts = CURRENT_UNIX_TIME()
    keyname = ip+":"+ts
    current = GET(keyname)
    IF current != NULL AND current > 10 THEN
        ERROR "too many requests per second"
    ELSE
        MULTI
            INCR(keyname,1)
            EXPIRE(keyname,10)
        EXEC
        PERFORM_API_CALL()
    END

简单来说，我们对每个IP的每一秒都有一个计数器，但每个计数器都有一个额外的设置：它们都将被设置一个10秒的过期时间。这可以使得当时间已经不是当前秒时（此时该计数器也无效了），能够让redis自动移除它。  
需要注意的是，这里我们使用multi和exec命令来确保对每个API调用既执行了incr也同时能够执行expire命令。  
multi命令用于标识一个命令集被包含在一个事务块中，exec保证该事务块命令集执行的原子性。  
**模式：Rate limiter 2**  
另外的一种实现是采用单一的计数器，但是为了避免race condition（竞态条件），它也更复杂。我们来看几种不同的变体：

FUNCTION LIMIT_API_CALL(ip):
    current = GET(ip)
    IF current != NULL AND current > 10 THEN
        ERROR "too many requests per second"
    ELSE
        value = INCR(ip)
        IF value == 1 THEN
            EXPIRE(value,1)
        END
        PERFORM_API_CALL()
    END

该计数器在当前秒内第一次请求被执行时创建，但它只能存活一秒。如果在当前秒内，发送超过10次请求，那么该计数器将超过10。否则它将失效并从0开始重新计数。  
在上面的代码中，存在一个race condition。如果因为某个原因，上面的代码只执行了incr命令，却没有执行expire命令，那么这个key将会被泄漏，直到我们再次遇到相同的ip（备注，如果这里没有辅助的删除该key的措施，那么该key将永不过期，也将每次都发生错误，详情可见本人之前一篇文章）。  
这种问题也不难处理，可以将incr命令以及另外的expire命令打包到一个lua脚本里，该脚本可以用eval命令提交给redis执行（该方式只在redis版本大于等于2.6之后才能支持）。

local current
    current = redis.call("incr",KEYS[1]) if tonumber(current) == 1 then redis.call("expire",KEYS[1],1) end

当然，也有另一种方式来解决这个问题而不需要动用lua脚本，但需要用redis的list数据结构来替代计数器。这种实现方式将会更复杂，并使用更高级的特性。但它有一个好处是记住调用当前API的每个客户端的IP。这种方式可能很有用也可能没用，这取决于应用需求。

FUNCTION LIMIT_API_CALL(ip)
    current = LLEN(ip)
    IF current > 10 THEN
        ERROR "too many requests per second"
    ELSE
        IF EXISTS(ip) == FALSE
            MULTI
                RPUSH(ip,ip)
                EXPIRE(ip,1)
            EXEC
        ELSE
            RPUSHX(ip,ip)
        END
        PERFORM_API_CALL()
    END

rpushx命令只在key存在时才会将值加入list  
仍然需要注意的是，这里也存在一个race condition（但这却不会产生太大的影响）。问题是：exists可能返回false，但在我们执行multi/exec块内的创建list的代码之前，该list可能已被其他客户端创建。然而，在这个race condition发生时，将仅仅只是丢失一个API调用，所以rate limiting仍然工作得很好。  
这里产生race condition不会有大问题的原因在于，else分支使用的rpushx，它不会导致if not than init的问题，并且expire命令将在创建list的时候以原子的形式捆绑执行。不会产生key泄漏，导致永不失效的情况产生。

[https_redis.io_commands_INCR_pattern-rate-limiter]: https://redis.io/commands/INCR#pattern-rate-limiter
[http_www.redis.cn_commands_incr.html]: http://www.redis.cn/commands/incr.html