如果只需掌握一种NoSQL，那可能就是key/value型的Redis了

我不是女神ヾ 2023-02-28 11:13 13阅读 0赞

在《[老码农眼中的简明AI][AI]》一文中提到了图灵机和冯诺伊曼的计算机体系结构，数据存储是整个计算机软件系统中的一个关键节点。从个人电脑上的软件到基于计算机网络的分布式系统，存储系统更是基础环节，而且还承担着整个系统的数据责任。

应用程序离不开数据存储，关系型数据库的诞生为软件系统的发展揭开了一个新的时代，而互联网应用中大量的非结构化数据为非关系型数据库——NoSQL，提供了广泛的应用场景。

NoSQL 技术与高伸缩性无缝融合，很多技术同时具备了高分布性和高性能, 也是大数据分析的存储基石。大多数时间里，它们使 现有RDBMS 技术所实现的架构更加完整，例如 作为缓存服务器，搜索引擎，非结构化存储，易变信息存储等。大约可以分为4类：

*  Key/value型NoSQL
 *  列存储型NoSQL
 *  面向文档的存储型NoSQL
 *  图存储型NoSQL

关于这些NoSQL 的应用场景可以参见《[NoSQL 之于大数据][NoSQL]》。

面对这些NoSQL， 如果只需掌握一种NoSQL，那可能就是key/value型的Redis了。

## 什么是Redis ##

Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。

它支持多种类型的数据结构，如字符串， 散列， 列表， 集合， 有序集合与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。

Redis 内置了复制，LUA脚本， LRU驱动事件，事务和不同级别的磁盘持久化， 并通过 Redis哨兵（Sentinel）和自动分区（Cluster）提供高可用性。

以上来自redis.cn 上的介绍，简单的说，Redis是一个支持多种数据结构并且能够持久化的高性能NoSQL 数据库。

## Redis 的存储实现 ##

Redis作为一个性能高达10万qps的key/value存储类型的NoSQL数据库，大致的存储实现体系如下：

![format_png][]

一个RedisServer包含了N个redisDb，redisDb有dict的指针和失效时间的指针，核心是dictEntry 指针链表的指针，每一个具体的dictEntry链表节点存储了任意类型的key 和 value，不论是key还是value 都可以是redisObject。可以认为，指针链表的特性对redis的性能做出重要的作用。

Redis 中的数据结构与存储实现关系如下：

![format_png 1][]

INT压缩存储String，常量数字对象是共享的。SDS 存储string，变长的字符数组以及共享的常用字符串等。双端列表LINKEDLIST来存储list，支持双向遍历。HT是hash表，存储set和hash，根据填充率缩放，支持事件触发。INTSET压缩存储set，编码为`int16_t/ int32_t/ int64_t`。SKIPLIST存储有序集，联合dict处理zset。ZIPLIST通过双端指针压缩存储hash、list和zset。

Redis存储实现中的网络模型支持Epoll/Select/Kqueue等，事件模型主要是TimeEvent/FileEvent。由于FileEvent处理器是单线程的，所以 redis 是单线程的模型。Redis 单线程模型是纯内存操作，核心是基于非阻塞的 IO 多路复用机制，单线程反而避免了多线程的频繁上下文切换问题，因而整体的存储实现性能很高。

## Redis 的常见命令集 ##

Redis 简洁易用，为了方便记忆，命令集分类如下：

![format_png 2][]

![format_png 3][]

![format_png 4][]

访问Redis的客户端类型丰富，几乎涵盖了大多数的主流编程语言：

![format_png 5][]

## Redis 的集群部署 ##

Redis 自2.4 版本开始就可以在生产环境上稳定可用了，在2.6版本引入了Lua脚本和Watch dog，2.8版本对主从同步进行了优化，并开始支持Sentinel 和 HyperLog。Redis 2.x 的集群主要是通过主从同步实现的，数据是异步复制和增量同步。

有限状态机在主从同步和数据持久化方面起到了重要的作用。数据持久化是通过快照实现的，通信协议是RESP，一种便于实现和理解的二进制安全协议。AOF 最终通过fsync写入磁盘实现数据的持久化。

从3.0开始，Redis 支持cluster，cluster内部的各节点间采用的Gossip分布式协议。通过多数原则判断节点是否宕机，由gossip协议传播判活信息，选举出新的替代者，由gossip协议传播选举结果。

![format_png 6][]

Redis 集群可以实现自动故障切换，副本迁移和在线的重新分片。分片变化，数据迁移同样通过gossip协议达成一致。

然而，Redis cluster 同样存在着不足，例如随着节点的增加，故障切换会有大幅的增加，gossip传播信息需要一段时间，整机房切换比较慢。按key同步阻塞的迁移对读写影响较大，Gossip协议的调试非常困难，给故障的排除会带来诸多的不便。

关注redis 的官方网站，可以看到redis 4.0 以来的诸多新变化。

## Redis 的常见应用 ##

Redis 的应用十分广泛，在key/value 的NoSQL中有着突出的性能体现，甚至和文档型NoSQL——MongoDB 在某些方面有着类似的作用。Redis, Memcache和MongoDB 的对比如下图所示：

![format_png 7][]

根据用户标识获取用户的相关数据在互联网应用中是一种常见的场景，这类数据具有读写量大，但单条数据不长，并且对某些字段经常进行更新等特点，一般都会使用redis 这样类型key/value 数据库来实现。Redis在内存中对数字进行递增或递减的操作实现的非常好。集合（Set）和有序集合（Sorted Set）也使得在执行这些操作时非常简单，Redis正好提供了这两种数据结构，因而对排行榜类的场景

对于分布式锁的业务，Redis 可以提供高性能的分布式锁服务，例如电商业务的秒杀场景，全局自增ID等等。

对于系统架构而言， Redis 有时候甚至成为了缓存的代名词，关于Redis 在分布式缓存方面的各种应用，可以参考《深入分布式缓存——从原理到应用》一书中的诸多章节。

深入Redis，还可以发现很多有趣的用法，例如将redis 作为消息队列等等，一文难以描述Redis，但可以作为全栈需要掌握的一个基础。

【参考阅读】

*  https://www.redislabs.com/
 *  https://www.redis.io/
 *  http://www.redis.cn/
 *  [全栈必备  Java基础][_Java]
 *  [全栈必备 敏捷估点][Link 1]
 *  [全栈必备 贝叶斯方法][Link 2]
 *  [全栈必备 Log日志][Log]
 *  [全栈的技术栈设想][Link 3]
 *  [面向全栈的技术管理][Link 4]
 *  [老曹眼中的Linux基础][Linux]
 *  [老曹眼中的网络编程基础][Link 5]
 *  [赠书伴回家:《深入分布式缓存》][Link 6]

[AI]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ%3D%3D&chksm=80d32d8cb7a4a49a6b509aab10c49440616436ffbd28ba1d9450e0552f49520c4d98a5b15d21&idx=1&mid=2658971818&scene=21&sn=aea14e255fc35689b19f5d0fbc281877#wechat_redirect
[NoSQL]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ%3D%3D&chksm=80d33738b7a4be2ebdc6df162b78cd3537e703a68cb692c81fad3f373ff82801bfd96885157e&idx=1&mid=2658970142&scene=21&sn=fdd43a7c1bd0e3a2fa45cfe8edf15926#wechat_redirect
[format_png]: /images/20230209/244d8aa6506341fbb5a1f828089bf9e2.png
[format_png 1]: /images/20230209/4c9ff547c8504f70a7537ab39701fa9d.png
[format_png 2]: /images/20230209/57f8706cea774babaf03fda86115c061.png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9ERTJkazFHamN6cGx1NnlVS2U1Q1c3dUQ3d0d6NFI1bkd5NmxtVlhXVEVUeWlidndaRzdvWXVTT2liZnVCM2RPSEZPM1ZNeHpkWkJwNHlxWVhWQWh1Y3p3LzY0MA?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9ERTJkazFHamN6cGx1NnlVS2U1Q1c3dUQ3d0d6NFI1bkJBWjlHZ2JKRkxmOGI2azdkWks3TGlib2xaSm03R3BHU1ZpYnJ1MHdCME53WW5HcnQydmJKcGp3LzY0MA?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9ERTJkazFHamN6cGx1NnlVS2U1Q1c3dUQ3d0d6NFI1bklwUk9sa2ExWlFuMVRKVzRSSWJvVkN3MWV3V0lOZzZpYzFTblh0WVI2bjJTMzFEeDJsOUs3OUEvNjQw?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9ERTJkazFHamN6cGx1NnlVS2U1Q1c3dUQ3d0d6NFI1bkNBbU16bk5iSUpVa05EWE1xMEpHckpEaWEyTnEyS0lMeG1IeXdoeVZDNUwzSmIyZDA3T20yTEEvNjQw?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9ERTJkazFHamN6cGx1NnlVS2U1Q1c3dUQ3d0d6NFI1bmFDbEZjaWNka05JOG9EZTN5WlRrOGFiZ3hhTFRublZpYVdNTENHNXgzN1BMaWJEVVBKRFRSa1Y1US82NDA?x-oss-process=image/format,png
[_Java]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ%3D%3D&chksm=80d32cf3b7a4a5e588733a98e0772f9f74feed742f0ecb281e60b7284cd4ace3aa1a90aebb5f&idx=1&mid=2658972117&scene=21&sn=3be53478714a477794dbf953f7ba0184#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ%3D%3D&chksm=80d32d93b7a4a4858b81ed838e6fc0e6aa66e8eee939c7ec4bef74b657ea0d2bd73f218e5ab5&idx=1&mid=2658971829&scene=21&sn=36f900582a94feef967ecb8c520cc3f2#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ%3D%3D&chksm=80d32d04b7a4a41224626f036d6811ea11727c2a87d19b850887cf5af8ea302b6eeaba96255d&idx=1&mid=2658971682&scene=21&sn=59ccc0566f613e95f53ef4d884e3e3ff#wechat_redirect
[Log]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ%3D%3D&chksm=80d332dfb7a4bbc938e66d0f1c43375a91eab1c5a1efab83af8352de936adea6cf6f8faa17bf&idx=1&mid=2658971641&scene=21&sn=2c950c37b968eccc9a43f0af24415189#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ%3D%3D&chksm=80d330f3b7a4b9e50ab83e7be63b776547abd47b2e3993c71e03360eabeac60a1381fec7ceae&idx=1&mid=2658971093&scene=21&sn=230d45af09ff4e31771f8d7c29d9b672#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ%3D%3D&chksm=80d333d5b7a4bac3a41a575e6d404cc3121db76a7826528ad78b67d2692ec436cdbab27258b8&idx=1&mid=2658971379&scene=21&sn=8535f9b9b3c2c6a5ae445aada880e651#wechat_redirect
[Linux]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ%3D%3D&chksm=80d3315ab7a4b84c970a64cbdf19276206409675fa8e3e060d1bd66fffe62a94fc1be5ecdad6&idx=1&mid=2658970748&scene=21&sn=0796a6cfa0a998a0f209e2c583d63013#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ%3D%3D&chksm=80d33309b7a4ba1feb0376498474298abd484bf79acd0bac80f2feef6ca1120ae715c0318343&idx=1&mid=2658971183&scene=21&sn=f834681a59249700df838fd70097a045#wechat_redirect
[Link 6]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ%3D%3D&chksm=80d32f6cb7a4a67ae1210654e0e9e15e819189d667164cabfbcc68e94531d03af98621b57f11&idx=1&mid=2658972234&scene=21&sn=6aabe740cdfde85957722f52d346c624#wechat_redirect