高性能缓存实践-解决缓存穿透-基于内存布隆过滤器

Love The Way You Lie 2022-12-11 10:24 124阅读 0赞

### 文章目录 ###

*   *  目标
     *  布隆过滤器
     *   *  应用
         *  我的理解
     *  实践
     *   *  引入 goole guava 依赖
         *  业务类
         *  controller 层

## 目标 ##

*  实践基于内存的布隆过滤器
    
    参考：[大白话布隆过滤器][Link 1]
    
    [布隆过滤器的方式解决缓存穿透问题][Link 2]

## 布隆过滤器 ##

参考：百度百科-布隆过滤器

布隆过滤器（Bloom Filter）是1970年由[布隆][Link 3]提出的。它实际上是一个很长的[二进制][Link 4]向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。

### 应用 ###

网页URL的去重，垃圾邮件的判别，集合重复元素的判别，查询加速（比如基于key-value的存储系统）等。

### 我的理解 ###

布隆过滤器用于鉴别一个元素是否一定不存在或者可能存在。占用内存资源很少，并且查询效率高效。

计算布隆过滤器的容量可以计算，[Bloom Filter Calculator][]

可以看到存入100万，误差在0.001，需要的size 大小在 1775.07KB ，只有1.73M。要求的误差越小，对cpu和内存的消耗越高。

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tNGhSmPN-1601430760248)(https://s1.ax1x.com/2020/06/24/Nan5gH.png)\]][img-tNGhSmPN-1601430760248_https_s1.ax1x.com_2020_06_24_Nan5gH.png]

## 实践 ##

基于 spring boot cache 和 goole guava 包

项目地址：https://github.com/gengzi/codecopy

具体代码：fun.gengzi.codecopy.business.product 下的代码

思路：

两个方法：

一个是将所有缓存的key加载到内存的布隆过滤器，供查询数据时使用

一个是鉴别布隆过滤器是否包含该缓存的key，不包含，直接响应，包含，查询数据库返回数据。

### 引入 goole guava 依赖 ###

guava 提供了布隆过滤器

<dependency>
                <groupId>com.google.guava</groupId>
                <artifactId>guava</artifactId>
                <version>20.0</version>
            </dependency>

### 业务类 ###

fun.gengzi.codecopy.business.product.service.impl.ProductCacheServiceImpl

关于 BloomFilter 的用法，可以查看下api

// 存放的数量
        private static int size = 1000000;
        // 创建布隆过滤器
        private static final BloomFilter<Integer> bloomFilter = BloomFilter.create(Funnels.integerFunnel(), size);
     
        // 将缓存的key，设置到布隆过滤器中
        @Override
        public void putBloomKey() { 
            List<Integer> allId = productDao.getAllId();
            allId.forEach(id -> { 
                bloomFilter.put(id);
            });
        }
     
            /** * 根据产品id 获取产品信息 * <p> * 使用布隆过滤器，判断id 是否存布隆过滤器中 存在 * 查缓存，如果有，返回 * 无，直接返回 * * @param id * @return */
        @Cacheable(cacheManager = "loclRedisCacheManagers", value = "PRODUCT_INFO_ID_NOPREFIX", key = "#id", cacheNames = { "PRODUCT_INFO_ID_NOPREFIX"})
        @Override
        public Product getOneProductCacheInfoBloom(Integer id) { 
                  // 如果存在返回 true ，不存在返回 false
            boolean isContain = bloomFilter.mightContain(id);
            if (isContain) { 
                return productDao.findById(id.longValue()).orElseThrow(() -> new RrException("error ", RspCodeEnum.FAILURE.getCode()));
            } else { 
                throw new RrException("error ", RspCodeEnum.FAILURE.getCode());
            }
        }

### controller 层 ###

在本例中，需要手动的执行，将key存入到布隆过滤器中，实践中，可以考虑在上线后，在运维页面，手动初始化一下布隆过滤器数据。

@ApiOperation(value = "将key存入布隆过滤器", notes = "将key存入布隆过滤器")
        @ApiResponses({ @ApiResponse(code = 200, message = "\t{\n" +
                "\t \"status\": 200,\n" +
                "\t \"info\": {\n" +
                "\t }\n" +
                "\t \"message\": \"信息\",\n" +
                "\t}\n")})
        @PostMapping("/putBloomKey")
        @ResponseBody
        public ReturnData putBloomKey() { 
            productCacheService.putBloomKey();
            ReturnData ret = ReturnData.newInstance();
            ret.setSuccess();
            return ret;
        }
     
            @ApiOperation(value = "缓存穿透-使用布隆过滤器（Redis）", notes = "缓存穿透-使用布隆过滤器（Redis）")
        @ApiImplicitParams({ 
                @ApiImplicitParam(name = "id", value = "id", required = true)})
        @ApiResponses({ @ApiResponse(code = 200, message = "\t{\n" +
                "\t \"status\": 200,\n" +
                "\t \"info\": {\n" +
                "\t }\n" +
                "\t \"message\": \"信息\",\n" +
                "\t}\n")})
        @PostMapping("/findCacheUseRedisBloomByErrorId")
        @ResponseBody
        public ReturnData findCacheUseRedisBloomByErrorId(@RequestParam("id") Integer id) { 
            Product oneProductCacheInfo = productCacheService.getOneProductCacheInfoRedisBloom(id);
            ReturnData ret = ReturnData.newInstance();
            ret.setSuccess();
            ret.setMessage(oneProductCacheInfo);
            return ret;
        }

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4ODE3NzM5_size_16_color_FFFFFF_t_70_pic_center]

[Link 1]: https://www.cnblogs.com/CodeBear/p/10911177.html
[Link 2]: https://www.cnblogs.com/rinack/p/9712477.html
[Link 3]: https://baike.baidu.com/item/%E5%B8%83%E9%9A%86/14216465
[Link 4]: https://baike.baidu.com/item/%E4%BA%8C%E8%BF%9B%E5%88%B6/361457
[Bloom Filter Calculator]: https://krisives.github.io/bloom-calculator/
[img-tNGhSmPN-1601430760248_https_s1.ax1x.com_2020_06_24_Nan5gH.png]: /images/20221123/601b268f119745debd9a6ad320b0fe7a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4ODE3NzM5_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/d333c5b8f13c456798def5b7a1c93826.png