Redis 排查大 key 的4种方法

以你之姓@ 2024-04-06 11:48 38阅读 0赞

摘要：在日常Redis的使用中，难免遇到因为 key 存储了过大的数据而造成请求缓慢甚至阻塞的情况，这个时候就需要排查 Redis 的大key去优化业务了，下面提供一些排查方案总结，仅供参考。

### 一、多大的 key 算大呢？ ###

Redis 实践总结（仅供参考）：

合理的 Key 中 Value 的字节大小，推荐小于 10 KB。

过大的 Value 会引发数据倾斜、热点Key、实例流量或 CPU 性能被占满等问题，应从设计源头上避免此类问题带来的性能影响。

那么 value Bytes > 10 kb 可以作为判断 大 key 的一个参考值。

### 二、排查大 key 的方法 ###

#### 1、使用命令 --bigkeys ####

`--bigkeys` 是 redis 自带的命令，对整个 Key 进行扫描，统计 string，list，set，zset，hash 这几个常见数据类型中每种类型里的最大的 key。

string 类型统计的是 value 的字节数；另外 4 种复杂结构的类型统计的是元素个数，不能直观的看出 value 占用字节数，所以 --bigkeys **对分析 string 类型的大 key 是有用的**，而复杂结构的类型还需要一些第三方工具。

> 注：元素个数少，不一定 value 不大；元素个数多，也不一定 value 就大

redis-cli -h 127.0.0.1 -p 6379 -a "password" --bigkeys

`--bigkeys` 是以 scan 延迟计算的方式扫描所有 key，因此执行过程中不会阻塞 redis，但实例存在大量的 keys 时，命令执行的时间会很长，这种情况建议在 slave 上扫描。

`–-bigkeys` 其实就是找出类型中最大的 key，最大的 key 不一定是大 key，最大的 key 都不超过 10kb 的话，说明不存在大 key。

但某种类型如果存在较多的大key (>10kb)，只会统计 top1 的那个 key，如果要统计所有大于 10kb 的 key，需要用第三方工具扫描 rdb 持久化文件。

#### 2、使用 memory 命令查看 key 的大小（仅支持 Redis 4.0 以后的版本） ####

redis-cli -h 127.0.0.1 -p 6379 -a password
    
    MEMORY USAGE keyname1
    (integer) 157481
    
    MEMORY USAGE keyname2
    (integer) 312583

#### 3、使用 Rdbtools 工具包 ####

Rdbtools 是 python写的 一个第三方开源工具，用来解析 Redis 快照文件。除了解析 rdb 文件，还提供了统计单个 key 大小的工具。

1、安装

git clone https://github.com/sripathikrishnan/redis-rdb-tools
    cd redis-rdb-tools sudo && python setup.py install

2、使用

从 `dump.rdb` 快照文件统计, 将所有 > 10kb 的 key 输出到一个 csv 文件

rdb dump.rdb -c memory --bytes 10240 -f live_redis.csv

#### 4、使用 go-redis-bigkv ####

go-redis-bigkv 是本人开发的一个小工具。主要是 **基于 memory 命令**，扫描 redis 中所有的 key，并将结果按照 **内存大小进行排序**，并将排序后的 **结果输出到 txt 文件中**。因为是 **以 scan 延迟计算的方式扫描所有 key**，因此执行过程中不会阻塞 redis，但实例存在大量的 keys 时，命令执行的时间会很长。

发表评论取消回复

表情：

评论列表（有 0 条评论，38人围观）

还没有评论，来说两句吧...

相关阅读

相关 Map遍历 key-value 的4种方法

Map遍历 key-value 的4种方法四种方法先用`keySet()`取出所有key值，再取出对应value——增强for循环遍历先用`key

ゝ一纸荒年。/ 2024年04月07日 11:56/ 0 赞/ 84 阅读

相关 Redis 排查大 key 的4种方法

摘要：在日常Redis的使用中，难免遇到因为 key 存储了过大的数据而造成请求缓慢甚至阻塞的情况，这个时候就需要排查 Redis 的大key去优化业务了，下面提供一些排查方案

以你之姓@/ 2024年04月06日 11:48/ 0 赞/ 39 阅读

相关【Redis】大key的处理

文章目录什么是Redis的大key? 如何发现大key 如何删除大key? 什么是Redis的大key? String类型的值大于10k

叁歲伎倆/ 2024年04月03日 08:21/ 0 赞/ 105 阅读

相关 Redis大key与热Key

什么是 bigkey？简单来说，如果一个 key 对应的 value 所占用的内存比较大，那这个 key 就可以看作是 bigkey。具体多大才算大呢？有一个不是特别精确

桃扇骨/ 2024年02月17日 09:43/ 0 赞/ 79 阅读

相关 Java Map遍历key的4种方法

1. keySet迭代遍历key Iterator<String> iter = map.keySet().iterator(); while (iter

淡淡的烟草味﹌/ 2023年10月10日 15:09/ 0 赞/ 73 阅读

相关 Redis——大Key问题

上一篇文章讲了[Redis的热点key问题][Redis_key]，本篇介绍Redis大Key问题的概念，大Key问题产生的原因、危害以及解决大Key问题的思路； 1. 什

╰+攻爆jí腚メ/ 2023年09月28日 09:00/ 0 赞/ 168 阅读

相关 redis的热key、大key

目录 1.概述 2.查找方法 2.1.知道具体哪个key有问题 2.2.不知道具体哪个key有问题 3.处理方法 3.1.大key的处理方法 3.2.热key的处

忘是亡心i/ 2023年09月23日 18:07/ 0 赞/ 198 阅读

相关 redis大key处理

redis 中的大key 主要包括以下几个部分(超过M级别的): 1. 单个简单的key存储的value很大 2. hash， set，zset，list 中存储过多的元

比眉伴天荒/ 2022年11月21日 01:27/ 0 赞/ 193 阅读

相关 redis-大key寻找

[redis-大key寻找][redis-_key] 使用redis-rdb-tools 项目地址 https://github.com/sripathikris

短命女/ 2022年10月02日 15:50/ 0 赞/ 180 阅读

相关分析redis key大小的几种方法

> 本文系转载，便于整理和归档。原文地址 https://cloud.tencent.com/developer/article/1757281 当redis被用作缓存时，有

古城微笑少年丶/ 2022年09月12日 11:42/ 0 赞/ 223 阅读