java缓存穿透解决方案之布隆过滤器

青旅半醒 2022-11-19 11:12 317阅读 0赞

今天分享 java通过redis发生缓存穿透的解决方案

首先；缓存穿透是指缓存和数据库中都没有的数据，而用户不断发起请求，如发起为 id为“-1”的数据或 id 为特别大不存在的数据。这时的用户很可能是攻击者，攻击会导致数据库压力过大，此时就出现了布隆过滤器。

一、布隆过滤器原理：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70][]

1、容器启动从数据库里读出全部商品，通过hash计算得到一个下标作为bitmap的位，类似hashset，将其置为1。

2、用户搜商品的时候先经过hash计算得到位下标，然后去布隆过滤器里查看这个位下标的值是不是1，是1代表有商品，再去DB查。若是0则直接返回没商品即可。（位的运算极其的快，性能消耗几乎忽略不计）

3、可能多个商品通过hash计算得到的值一样，这就发生了hash碰撞，这也意味着布隆过滤器不是100%靠谱，可能漏掉某些商品，所以具体应用场景还得看业务需求是否允许。布隆过滤器进行了三次不同的hash算法来减少hash碰撞的几率，进一步减少了碰撞的概率，即使高并发场景也足够了。

4、它是一个有固定的大小的，也就是一开始设置它能放多少东西，元素添加到集合中后，不能被删除，即只增不减。并且校验元素的准确率（指 true 存在的准确率），是会随着存的东西越多而准确率会慢慢降低

二、解决方案：如何使用布隆过滤器

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 1][]

1、布隆过滤器的使用方法，类似 java 的 SET 集合，只不过它能以更小的内存，存储更大的数据

类似以下伪代码

1)、SET set = new HashSET(); //创建布隆过滤器

2)、set.add(id)//初始化加载业务数据

3)、query（id）\{//查询

set.contain（id）==true ---》 去查数据库

此方案如果在key比较少的情况下使用甚好；占用内存少，判断速度快。

2、对应的生产代码，使用如下：

/**
     * 缓存穿透
     */
    @Service("provincesService")
    public class ProvincesServiceImpl4 extends ProvincesServiceImpl implements ProvincesService{
        private BloomFilter<String> bf =null; //等效成一个set集合
    
        @PostConstruct //对象创建后，自动调用本方法
        public void init(){//在bean初始化完成后，实例化bloomFilter,并加载数据
            List<Provinces> provinces = this.list();
    
            //当成一个SET----- 占内存，比hashset占得小很多
            bf = BloomFilter.create(Funnels.stringFunnel(Charsets.UTF_8), provinces.size());// 32个
            for (Provinces p : provinces) {
                bf.put(p.getProvinceid());
            }
        }
    
        @Cacheable(value = "province")//注解方式的缓存使用
        public Provinces detail(String provinceid) {
            //先去缓存中查询，如果缓存中没有此key,就判断此key是否非法
            
            //先判断布隆过滤器中是否存在该值，值存在才允许访问缓存和数据库
            if(!bf.mightContain(provinceid)){
                System.out.println("非法访问--------"+System.currentTimeMillis());
                return null;
            }
            //不是非法数据，可以访问数据库
            System.out.println("数据库中得到数据--------"+System.currentTimeMillis());
            Provinces provinces = super.detail(provinceid);
    
            return provinces;
        }
    
        @CachePut(value = "province",key = "#entity.provinceid")
        public Provinces update(Provinces entity) {
            super.update(entity);
            return entity;
        }
    
        @CacheEvict(value = "province",key = "#entity.provinceid")
        public Provinces add(Provinces entity) {
            super.add(entity);
            bf.put(entity.getProvinceid());//新生成key，加入布隆过滤器，此key从此合法
            return entity;
        }
    
        @Override
        @CacheEvict("province")
        public void delete(String provinceid) {
            super.delete(provinceid);
            //如果此key从此之后不再出现，也不能通过布隆过滤器删除，只增不减
        }
    }

三、布隆过滤器存在的问题：

** **1、如何让碰撞几率更小？

可以让一个商品经过N次不同的hash方法计算，然后搜索商品的时候看N次hash值在bitmap里是不是都是1，有一个不是1就返回没有商品。几乎能保证99%+不碰撞。

2、如果黑客攻击你，就是钻了个空子，搜了个ooxx，经过三次hash计算得到的位下标在bitmap里都是1，结果去查了db，db查完没有这商品。然后就一直利用此key刷你怎么解决？

你可以再加一层过滤，bitmap里都是1，mysql里没有的商品放到redis里，每次搜商品先去redis里查下是否存在，若存在则直接返回没有这个商品。

四、自定义布隆过滤器方案的利弊：

1、单体服务直接用HashSet 存和判断

优点：方便、快捷

缺点：占用内存大，尤其是key比较多的情况下，不适合微服务或集群环境

2、直接使用redis 存相应的key

优点：方便，不占本服务内存

缺点：增加了成本，不过在微服务环境下，还是很可行的方案

3、客户端实现布隆算法，然后数据存储交给redis，因为redis也是支持bitmap

优点：算法自定义，定义几次算法都自己说了算，提高了准确率。

缺点：占用内存过大的话也会产生性能问题

到此布隆过滤器的原理和使用分享完毕。

可以参考：[另一角度参考布隆过滤器][Link 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70]: /images/20221119/173196abc8c5442db7d42efc4c506691.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hbmRhbzE1OA_size_16_color_FFFFFF_t_70 1]: /images/20221119/8ab9a50589644d4e88859a164a45cb1f.png
[Link 1]: https://blog.csdn.net/qq_35387940/article/details/105217347