【Redis】布隆过滤器

太过爱你忘了你带给我的痛 2022-03-15 09:24 235阅读 0赞

想知道某一个值是不是已经在 HyperLogLog 结构里面了，它就无能为力了，它只提供了 pfadd 和 pfcount 方法，没有提供 pfcontains 这种方法。

讲个使用场景，比如我们在使用新闻客户端看新闻时，它会给我们不停地推荐新的内容，它每次推荐时要去重，去掉那些已经看过的内容。问题来了，新闻客户端推荐系统如何实现推送去重的？

## 布隆过滤器是什么？ ##

布隆过滤器可以理解为一个不怎么精确的 set 结构，当你使用它的 contains 方法判断某个对象是否存在时，它可能会误判。但是布隆过滤器也不是特别不精确，只要参数设置的合理，它的精确度可以控制的相对足够精确，只会有小小的误判概率。

## Redis 中的布隆过滤器 ##

Redis 官方提供的布隆过滤器到了 Redis 4.0 提供了插件功能之后才正式登场。布隆过滤器作为一个插件加载到 Redis Server 中，给 Redis 提供了强大的布隆去重功能。

下面我们来体验一下 Redis 4.0 的布隆过滤器，为了省去繁琐安装过程，我们直接用 Docker 吧。

> docker pull redislabs/rebloom  # 拉取镜像
    > docker run -p6379:6379 redislabs/rebloom  # 运行容器
    > redis-cli  # 连接容器中的 redis 服务

如果上面三条指令执行没有问题，下面就可以体验布隆过滤器了。

## 布隆过滤器基本使用 ##

布隆过滤器有二个基本指令，`bf.add` 添加元素，`bf.exists` 查询元素是否存在，它的用法和 set 集合的 sadd 和 sismember 差不多。注意 `bf.add` 只能一次添加一个元素，如果想要一次添加多个，就需要用到 `bf.madd` 指令。同样如果需要一次查询多个元素是否存在，就需要用到 `bf.mexists` 指令。

127.0.0.1:6379> bf.add codehole user1
    (integer) 1
    127.0.0.1:6379> bf.add codehole user2
    (integer) 1
    127.0.0.1:6379> bf.add codehole user3
    (integer) 1
    127.0.0.1:6379> bf.exists codehole user1
    (integer) 1
    127.0.0.1:6379> bf.exists codehole user2
    (integer) 1
    127.0.0.1:6379> bf.exists codehole user3
    (integer) 1
    127.0.0.1:6379> bf.exists codehole user4
    (integer) 0
    127.0.0.1:6379> bf.madd codehole user4 user5 user6
    1) (integer) 1
    2) (integer) 1
    3) (integer) 1
    127.0.0.1:6379> bf.mexists codehole user4 user5 user6 user7
    1) (integer) 1
    2) (integer) 1
    3) (integer) 1
    4) (integer) 0

Java 客户端 Jedis-2.x 没有提供指令扩展机制，所以你无法直接使用 Jedis 来访问 Redis Module 提供的 [bf.xxx][] 指令。RedisLabs 提供了一个单独的包 [JReBloom][]，但是它是基于 Jedis-3.0，Jedis-3.0 这个包目前还没有进入 release，没有进入 maven 的中央仓库，需要在 Github 上下载。在使用上很不方便，如果怕麻烦，还可以使用 [lettuce][]，它是另一个 Redis 的客户端，相比 Jedis 而言，它很早就支持了指令扩展。

public class BloomTest {
    
      public static void main(String[] args) {
        Client client = new Client();
    
        client.delete("codehole");
        for (int i = 0; i < 100000; i++) {
          client.add("codehole", "user" + i);
          boolean ret = client.exists("codehole", "user" + i);
          if (!ret) {
            System.out.println(i);
            break;
          }
        }
    
        client.close();
      }
    
    }

误判率大约 1% 多点。你也许会问这个误判率还是有点高啊，有没有办法降低一点？答案是有的。

我们上面使用的布隆过滤器只是默认参数的布隆过滤器，它在我们第一次 add 的时候自动创建。Redis 其实还提供了自定义参数的布隆过滤器，需要我们在 add 之前使用`bf.reserve`指令显式创建。如果对应的 key 已经存在，`bf.reserve`会报错。`bf.reserve`有三个参数，分别是 key, `error_rate`和`initial_size`。错误率越低，需要的空间越大。`initial_size`参数表示预计放入的元素数量，当实际数量超出这个数值时，误判率会上升。

所以需要提前设置一个较大的数值避免超出导致误判率升高。如果不使用 bf.reserve，默认的`error_rate`是 0.01，默认的`initial_size`是 100。

接下来我们使用 bf.reserve 改造一下上面的脚本：

public class BloomTest {
    
      private String chars;
      {
        StringBuilder builder = new StringBuilder();
        for (int i = 0; i < 26; i++) {
          builder.append((char) ('a' + i));
        }
        chars = builder.toString();
      }
    
      private String randomString(int n) {
        StringBuilder builder = new StringBuilder();
        for (int i = 0; i < n; i++) {
          int idx = ThreadLocalRandom.current().nextInt(chars.length());
          builder.append(chars.charAt(idx));
        }
        return builder.toString();
      }
    
      private List<String> randomUsers(int n) {
        List<String> users = new ArrayList<>();
        for (int i = 0; i < 100000; i++) {
          users.add(randomString(64));
        }
        return users;
      }
    
      public static void main(String[] args) {
        BloomTest bloomer = new BloomTest();
        List<String> users = bloomer.randomUsers(100000);
        List<String> usersTrain = users.subList(0, users.size() / 2);
        List<String> usersTest = users.subList(users.size() / 2, users.size());
    
        Client client = new Client();
        client.delete("codehole");
        // 对应 bf.reserve 指令
        client.createFilter("codehole", 50000, 0.001);
        for (String user : usersTrain) {
          client.add("codehole", user);
        }
        int falses = 0;
        for (String user : usersTest) {
          boolean ret = client.exists("codehole", user);
          if (ret) {
            falses++;
          }
        }
        System.out.printf("%d %d\n", falses, usersTest.size());
        client.close();
      }
    
    }

运行一下，等待约 1 分钟，输出如下：

total users 100000
    all trained
    6 50000

我们看到了误判率大约 0.012%，比预计的 0.1% 低很多，不过布隆的概率是有误差的，只要不比预计误判率高太多，都是正常现象。

## 注意事项 ##

布隆过滤器的`initial_size`估计的过大，会浪费存储空间，估计的过小，就会影响准确率，用户在使用之前一定要尽可能地精确估计好元素数量，还需要加上一定的冗余空间以避免实际元素可能会意外高出估计值很多。

布隆过滤器的`error_rate`越小，需要的存储空间就越大，对于不需要过于精确的场合，`error_rate`设置稍大一点也无伤大雅。比如在新闻去重上而言，误判率高一点只会让小部分文章不能让合适的人看到，文章的整体阅读量不会因为这点误判率就带来巨大的改变。

## 布隆过滤器的原理 ##

学会了布隆过滤器的使用，下面有必要把原理解释一下，不然读者还会继续蒙在鼓里

![1][]

每个布隆过滤器对应到 Redis 的数据结构里面就是一个大型的位数组和几个不一样的无偏 hash 函数。所谓无偏就是能够把元素的 hash 值算得比较均匀。

向布隆过滤器中添加 key 时，会使用多个 hash 函数对 key 进行 hash 算得一个整数索引值然后对位数组长度进行取模运算得到一个位置，每个 hash 函数都会算得一个不同的位置。再把位数组的这几个位置都置为 1 就完成了 add 操作。

向布隆过滤器询问 key 是否存在时，跟 add 一样，也会把 hash 的几个位置都算出来，看看位数组中这几个位置是否都为 1，只要有一个位为 0，那么说明布隆过滤器中这个 key 不存在。如果都是 1，这并不能说明这个 key 就一定存在，只是极有可能存在，因为这些位被置为 1 可能是因为其它的 key 存在所致。如果这个位数组比较稀疏，判断正确的概率就会很大，如果这个位数组比较拥挤，判断正确的概率就会降低。

[bf.xxx]: https://link.juejin.im/?target=http%3A%2F%2Fbf.xxx
[JReBloom]: https://link.juejin.im/?target=https%3A%2F%2Fgithub.com%2FRedisLabs%2FJReBloom
[lettuce]: https://link.juejin.im/?target=https%3A%2F%2Fgithub.com%2Flettuce-io%2Flettuce-core
[1]: https://user-gold-cdn.xitu.io/2018/7/4/16464301a0e26416?imageView2/0/w/1280/h/960/format/webp/ignore-error/1