Redis--无底洞--含义/原因/解决方案

谁践踏了优雅 2023-10-01 17:38 16阅读 0赞

原文网址：[Redis--无底洞--含义/原因/解决方案\_IT利刃出鞘的博客-CSDN博客][Redis--_--_IT_-CSDN]

## 简介 ##

本文介绍Redis的无底洞，包括：含义、原因、解决方案。

## 含义 ##

2010年，Facebook的Memcache节点已经达到了3000个，承载着TB级别的缓存数据。但开发和运维人员发现了一个问题，为了满足业务要求添加了大量新Memcache节点，但是发现性能不但没有好转反而下降了，当时将这种现象称为缓存的“无底洞”现象。

## 无底洞的原因 ##

通常来说添加节点使得Memcache集群性能应该更强了，但事实并非如此。键值数据库由于通常采用哈希函数将key映射到各个节点上，造成key的分布与业务无关，但是由于数据量和访问量的持续增长，造成需要添加大量节点做水平扩容，导致键值分布到更多的节点上，所以无论是Memcache还是Redis的分布式，批量操作通常需要从不同节点上获取，相比于单机批量操作只涉及一次网络操作，分布式批量操作会涉及多次网络时间。

用一句通俗的话总结就是，更多的节点不代表更高的性能，所谓“无底洞”就是说投入越多不一定产出越多。但是分布式又是不可以避免的，因为访问量和数据量越来越大，一个节点根本抗不住，所以如何高效地在分布式缓存中批量操作是一个难点。

图1展示了在分布式条件下，一次mget操作需要访问多个Redis节点，需要多次网络时间。而图2由于所有键值都集中在一个节点上，所以一次批量操作只需要一次网络时间。

![4e77f452392442d8aef8f84bc05d38a2.png][] 图1 分布式存储批量操作多次网络时间

![d643dbcb682b41be9b3f4fc434711470.png][] 图2 当一个节点存储批量操作只需一次网络时间

无底洞问题分析：

1.  客户端一次批量操作会涉及多次网络操作，也就意味着批量操作会随着节点的增多，耗时会不断增大。
2.  网络连接数变多，对节点的性能也有一定影响。

## 优化思路 ##

1.  命令本身的优化，例如优化Redis语句等。
2.  减少网络通信次数。
3.  降低接入成本，例如客户端使用长连/连接池、NIO等。

这里我们假设命令、客户端连接已经为最优，重点讨论减少网络操作次数。

上边只是部分内容，为便于维护，本文已迁移到此地址：[Redis-无底洞-含义/原因/解决方案 - 自学精灵][Redis-_-_ -]

[Redis--_--_IT_-CSDN]: https://knife.blog.csdn.net/article/details/122836824
[4e77f452392442d8aef8f84bc05d38a2.png]: https://img-blog.csdnimg.cn/4e77f452392442d8aef8f84bc05d38a2.png
[d643dbcb682b41be9b3f4fc434711470.png]: https://img-blog.csdnimg.cn/d643dbcb682b41be9b3f4fc434711470.png
[Redis-_-_ -]: https://learn.skyofit.com/archives/734