11、BigKey

红太狼 2023-10-14 21:01 41阅读 0赞

BigKey

阿里广告平台，海量数据里查询某一固定前缀的key
    小红书，你如何生产上限制keys */flushdb/flushall等危险命令以防止误删误用？
    美团，MEMORY USAGE 命令你用过吗？
    BigKey问题，多大算big？你如何发现？如何删除？如何处理？
    BigKey你做过调优吗？惰性释放lazyfree了解过吗?
    Morekey问题，生产上redis数据库有1000W记录，你如何遍历？key *可以吗?
    Morekey问题，生产上redis数据库有1000W记录，你如何遍历？key *可以吗?

2、MoreKey案例  
**大批量往redis里面插入2000W测试数据key**  
Linux Bash下面执行，插入100W  
![在这里插入图片描述][4f4375a9790c4b6c903c316f93090646.png]

## 生成100W条redis批量设置kv的语句(key=kn,value=vn)写入到/tmp目录下的redisTest.txt文件中 ##

for((i=1;i<=100\*10000;i++)); do echo “set k i v i v ivi” >> /tmp/redisTest.txt ;done;

通过redis提供的管道–pipe命令插入100W大批量数据  
结合自己机器的地址：

cat /tmp/redisTest.txt | /opt/redis-7.0.0/src/redis-cli -h 127.0.0.1 -p 6379 -a 111111 --pipe  
多出来的5条，是之前的其它测试数据，100w数据插入redis花费5.8秒左右  
![在这里插入图片描述][65538bd7aab244258daabd1bd4e234f6.png]

**某快递巨头真实生产案例新闻**  
![在这里插入图片描述][ee9a9e37bbb046feae4ddaa1a0219a0c.png]  
keys \* 你试试100W花费多少秒遍历查询  
![在这里插入图片描述][095f811907b04f5e8cc537d0117bae6d.png]  
key \* 这个指令有致命的弊端，在实际环境中最好不要使用  
![在这里插入图片描述][9bee1fe5c98745138ded9424ec4493ec.png]  
生产上限制keys \*/flushdb/flushall等危险命令以防止误删误用？  
通过配置设置禁用这些命令，redis.conf在SECURITY这一项中  
![在这里插入图片描述][f8448725d2ed4adfa8ec325c77e53ecc.png]

\**不用keys 避免卡顿，那该用什么*  
scan命令登场，一句话，类似mysql limit的但不完全相同

Scan 命令用于迭代数据库中的数据库键  
![在这里插入图片描述][44c6d5db0d784328bf7600d3792f7e13.png]  
![在这里插入图片描述][83162b5fde7144fe82ae90f1248ea2b9.png]  
CAN 命令是一个基于游标的迭代器，每次被调用之后， 都会向用户返回一个新的游标， 用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数， 以此来延续之前的迭代过程。

SCAN 返回一个包含两个元素的数组，  
第一个元素是用于进行下一次迭代的新游标，  
第二个元素则是一个数组， 这个数组中包含了所有被迭代的元素。如果新游标返回零表示迭代已结束。

SCAN的遍历顺序  
非常特别，它不是从第一维数组的第零位一直遍历到末尾，而是采用了高位进位加法来遍历。之所以使用这样特殊的方式进行遍历，是考虑到字典的扩容和缩容时避免槽位的遍历重复和遗漏。  
![在这里插入图片描述][5f58a1a2df014a478f139d1036ade5a0.png]  
3、BigKey案例

**多大算Big**  
![在这里插入图片描述][929fee8febb54cb7a288d91d36f4dd94.png]  
![在这里插入图片描述][a31652f9e66d4222ab797ed1be38589c.png]  
**可以容纳和大小判定不等价**

**哪些危害**

内存不均，集群迁移困难  
超时删除，大key删除作梗  
网络流量阻塞

**如何产生**

社交类，如王心凌粉丝列表，典型案例粉丝逐步递增  
汇总统计，如某个报表，月日年经年累月的积累

**如何发现**

redis-cli --bigkeys  
好处，见最下面总结  
给出每种数据结构Top 1 bigkey，同时给出每种数据类型的键值个数+平均大小  
不足  
想查询大于10kb的所有key，–bigkeys参数就无能为力了，需要用到memory usage来计算每个键值的字节数

![在这里插入图片描述][29e85a62848b419ea0bc3c140a8c73ca.png]  
![在这里插入图片描述][3f1a7df3ff4143e6841810d7872c8c8e.png]  
MEMORY USAGE 键：计算每个键值的字节数  
![在这里插入图片描述][c38b698cddf2437a9abe057d6ab664b1.png]  
**如何删除**  
![在这里插入图片描述][458350d244b34083a2f4d58d70a1432a.png]  
普通命令

String：一般用del，如果过于庞大unlink  
hash：使用hscan每次获取少量field-value，再使用hdel删除每个field  
![在这里插入图片描述][fb9593bb19944ba3a41d2de5c7ca3b32.png]  
![在这里插入图片描述][1abe567f3ba040d7b26715f38eac502d.png]  
list：使用ltrim渐进式逐步删除，直到全部删除完成  
![在这里插入图片描述][fe2682f6b06a4c0ab6d3b7370d1a74fd.png]  
![在这里插入图片描述][d55743ea37da4c048eafea6910ea86fa.png]  
set：使用sscan每次获取部分元素，再使用srem命令删除每个元素  
![在这里插入图片描述][277807233496416c86dc646e7b8b99a7.png]  
![在这里插入图片描述][83c5e8ff14a04127b2d8ee6e413f0f08.png]  
zset：使用zscan每次获取部分元素，再使用ZREMRANGEBYRANK命令删除每个元素  
![在这里插入图片描述][0d61e0b6ef5546c790fd4d561a2493ce.png]  
![在这里插入图片描述][776f82e2c5a64e86a312ef3f5842e452.png]  
![在这里插入图片描述][d2bea3c63f77456296b279c4ca659ec4.png]  
BigKey生产调优  
redis.conf配置文件LAZY FREEING相关说明

阻塞和非阻塞删除命令

![在这里插入图片描述][4bb47abf1ae94305a99e7f1eea8e17dd.png]  
优化配置  
![在这里插入图片描述][b8ac690920cc411aa8c274e1a891aa9c.png]

[4f4375a9790c4b6c903c316f93090646.png]: https://img-blog.csdnimg.cn/4f4375a9790c4b6c903c316f93090646.png
[65538bd7aab244258daabd1bd4e234f6.png]: https://img-blog.csdnimg.cn/65538bd7aab244258daabd1bd4e234f6.png
[ee9a9e37bbb046feae4ddaa1a0219a0c.png]: https://img-blog.csdnimg.cn/ee9a9e37bbb046feae4ddaa1a0219a0c.png
[095f811907b04f5e8cc537d0117bae6d.png]: https://img-blog.csdnimg.cn/095f811907b04f5e8cc537d0117bae6d.png
[9bee1fe5c98745138ded9424ec4493ec.png]: https://img-blog.csdnimg.cn/9bee1fe5c98745138ded9424ec4493ec.png
[f8448725d2ed4adfa8ec325c77e53ecc.png]: https://img-blog.csdnimg.cn/f8448725d2ed4adfa8ec325c77e53ecc.png
[44c6d5db0d784328bf7600d3792f7e13.png]: https://img-blog.csdnimg.cn/44c6d5db0d784328bf7600d3792f7e13.png
[83162b5fde7144fe82ae90f1248ea2b9.png]: https://img-blog.csdnimg.cn/83162b5fde7144fe82ae90f1248ea2b9.png
[5f58a1a2df014a478f139d1036ade5a0.png]: https://img-blog.csdnimg.cn/5f58a1a2df014a478f139d1036ade5a0.png
[929fee8febb54cb7a288d91d36f4dd94.png]: https://img-blog.csdnimg.cn/929fee8febb54cb7a288d91d36f4dd94.png
[a31652f9e66d4222ab797ed1be38589c.png]: https://img-blog.csdnimg.cn/a31652f9e66d4222ab797ed1be38589c.png
[29e85a62848b419ea0bc3c140a8c73ca.png]: https://img-blog.csdnimg.cn/29e85a62848b419ea0bc3c140a8c73ca.png
[3f1a7df3ff4143e6841810d7872c8c8e.png]: https://img-blog.csdnimg.cn/3f1a7df3ff4143e6841810d7872c8c8e.png
[c38b698cddf2437a9abe057d6ab664b1.png]: https://img-blog.csdnimg.cn/c38b698cddf2437a9abe057d6ab664b1.png
[458350d244b34083a2f4d58d70a1432a.png]: https://img-blog.csdnimg.cn/458350d244b34083a2f4d58d70a1432a.png
[fb9593bb19944ba3a41d2de5c7ca3b32.png]: https://img-blog.csdnimg.cn/fb9593bb19944ba3a41d2de5c7ca3b32.png
[1abe567f3ba040d7b26715f38eac502d.png]: https://img-blog.csdnimg.cn/1abe567f3ba040d7b26715f38eac502d.png
[fe2682f6b06a4c0ab6d3b7370d1a74fd.png]: https://img-blog.csdnimg.cn/fe2682f6b06a4c0ab6d3b7370d1a74fd.png
[d55743ea37da4c048eafea6910ea86fa.png]: https://img-blog.csdnimg.cn/d55743ea37da4c048eafea6910ea86fa.png
[277807233496416c86dc646e7b8b99a7.png]: https://img-blog.csdnimg.cn/277807233496416c86dc646e7b8b99a7.png
[83c5e8ff14a04127b2d8ee6e413f0f08.png]: https://img-blog.csdnimg.cn/83c5e8ff14a04127b2d8ee6e413f0f08.png
[0d61e0b6ef5546c790fd4d561a2493ce.png]: https://img-blog.csdnimg.cn/0d61e0b6ef5546c790fd4d561a2493ce.png
[776f82e2c5a64e86a312ef3f5842e452.png]: https://img-blog.csdnimg.cn/776f82e2c5a64e86a312ef3f5842e452.png
[d2bea3c63f77456296b279c4ca659ec4.png]: https://img-blog.csdnimg.cn/d2bea3c63f77456296b279c4ca659ec4.png
[4bb47abf1ae94305a99e7f1eea8e17dd.png]: https://img-blog.csdnimg.cn/4bb47abf1ae94305a99e7f1eea8e17dd.png
[b8ac690920cc411aa8c274e1a891aa9c.png]: https://img-blog.csdnimg.cn/b8ac690920cc411aa8c274e1a891aa9c.png