Redis技术

迈不过友情╰ 2022-01-12 17:35 152阅读 0赞

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][]

**1 NoSQL概述**

**1.1什么是NoSQL**

NoSQL(NoSQL = Not Only SQL)，意思是不仅仅是SQL，是一项全新的数据库理念，泛指非关系型的数据库。

**1.2为什么需要NoSQL**

随着互联网web2.0网站的兴起，非关系型的数据库现在成了一个极其热门的新领域，非关系数据库产品的发展非常迅速。而传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题。

High performance对数据库高并发读写的需求

Huge Storage对海量数据的高效率存储和访问的需求

High Scalability && High Availabilit对数据库的高可扩展性和高可用性的需求

NoSQL数据库的产生就是为了解决大规模集合多重数据种类带来的挑战，尤其是大数据应用难题。

**1.3主流****NoSQL产品**

NoSQL数据库的四大分类如下：

(1)键值(Key-Value)存储数据库

相关产品：Tokyo Cabinet/Tyrant、 Redis 、Voldemort、Berkeley DB

典型应用： 内容缓存，主要用于处理大量数据的高访问负载。

数据模型： 一系列键值对

优势： 快速查询

劣势： 存储的数据缺少结构化

(2)列存储数据库

相关产品：CouchDB、MongoDB

典型应用：Web 应用（与 Key-Value 类似，Value 是结构化的）

数据模型： 一系列键值对

优势：数据结构要求不严格

劣势： 查询性能不高，而且缺乏统一的查询语法

(4)图形(Graph)数据库

相关数据库：Neo4J、InfoGrid、Infinite Graph

典型应用：社交网络

数据模型：图结构

优势：利用图结构相关算法。

劣势：需要对整个图做计算才能得出结果，不容易做分布式的集群方案。

**1.4 NoSQL特点**

在大数据存取上具备关系型数据库无法比拟的性能优势，例如：

易扩展：NoSQL 数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系型特性。数据之

间无关系，这样就非常容易扩展。也无形之间，在架构的层面上带来了可扩展的能力。

大数据量，高性能：NoSQL 数据库都具有非常高的读写性能，尤其在大数据量下，同样表现优秀。这得益于它的无关系性，数据库的结构简单。

灵活的数据模型：NoSQL 无需事先为要存储的数据建立字段，随时可以存储自定义的数据格式。这点在大数据量的 Web2.0 时代尤其明显。

高可用：NoSQL 在不太影响性能的情况，就可以方便的实现高可用的架构。比如 Cassandra，HBase模型，通过复制模型也能实现高可用。

**2 Redis**

**2.1 Redis由来**

2008 年，意大利的一家创业公司 Merzia 推出了一款基于 MySQL 的网站实时统计系统 LLOOGG，然而没过多久该公司的创始人 Salvatore Sanfilippo 便 对 MySQL 的性能感到失望， 于是他决定亲自为LLOOGG 量身定做一个数据库，并于 2009 年开发完成，这个数据库就是 Redis。 不过 Salvatore Sanfilippo 并不满足只将 Redis 用于 LLOOGG 这一款产品，而是希望更多的人使用它，于是在同一年Salvatore Sanfilippo 将 Redis 开源发布，并开始和 Redis 的另一名主要的代码贡献者 Pieter Noordhuis一起继续着 Redis 的开发，直到今天。

**2.2什么是Redis**

Redis 是用 C 语言开发的一个开源的高性能键值对（key-value）数据库。它通过提供多种键值数据类型来适应不同场景下的存储需求，目前为止 Redis 支持的键值数据类型如下：

Key 都是字符串

Value 是有五种类型

1、字符串类型 9成使用字符串

2、散列类型 hash数据

3、列表类型 set列表

4、集合类型 eg：任务队列、链表linkedList

5、有序集合类型 eg：排行榜

**2.3 Redis的应用场景**

缓存(数据查询、短连接、新闻内容、商品内容等等) (使用最多)

聊天室的在线好友列表。

任务队列。 (秒杀、抢购、12306 等等)

应用排行榜。

网站访问统计。 查询极为频繁，改变也是极为频繁

数据过期处理(可以精确到毫秒) 。 Redis可以设置数据的过期时间

分布式集群架构中的session分离。

**2.4 Redis的启动**

(1)前端模式启动

直接运行bin/redis-server将以前端模式启动，前端模式启动的缺点是启动完成后，不能再进行其他操作，如果要操作必须使用ctrl+c，同时redis-server程序结束，不推荐使用此方法。

(2)**后端模式启动\*\*\*\*\***

修改redis.conf配置文件，daemonize yes以后端模式启动

vim /usr/local/redis/redis.conf

启动时，指定配置文件

cd /usr/local/redis/

./bin/redis-server ./redis.conf

Redis默认端口6379，通过当前服务器进行查看

ps -ef|grep -i redis

**2.5 Redis停止**

强制结束程序。强行终止 Redis 进程可能会导致 redis 持久化数据丢失。

kill -9 31475 \#pid 需要通过“ps aux | grep -i redis”进行查询

正确停止 Redis 的方式应该是向 Redis 发送 SHUTDOWN 命令，方法为：(关闭默认端口)

cd /usr/local/redis

./bin/redis-cli shutdown

**2.6 Redis使用**

**2.6.1连接客户端**

在redis的安装目录中有 redis 的客户端，即redis-cli(Redis Command Line Interface)，它是Redis自带的基于命令行的Redis客户端。

redis-cli -h ip 地址 -p 端口

**2.6.2向Redis服务器发送命令**

redis-cli 连上 redis 服务后，可以在命令行发送命令。

ping，测试客户端与 Redis 的连接是否正常，如果连接正常会收到回复 PONG

**set/get，使用 set 和 get 可以向 redis 设置数据、获取数据。**

**del，删除指定 key 的内容。**

**keys \* ，查看当前库中所有的 key 值**

**3 Redis的数据结构**

**3.1 Redis数据结构介绍**

redis 是一种高级的 key-value 的存储系统，其中 value 支持五种数据类型。

**1、字符串(String)**

2、哈希(hash)

3、字符串列表(list)

4、字符串集合(set)

5、有序字符串集合(sorted set)

关于 key 的定义，需要注意以下几点：

(1)key不要太长，最好不要操作 1024 个字节，这不仅会消耗内 存还会降低查找效率

(2)key 不要太短，如果太短会降低 key 的可读性

(3)在项目中，key 最好有一个统一的命名规范。项目

**4存储String**

**4.1概述**

字符串类型是 Redis 中最为基础最为常用的数据存储类型，它在 Redis 中是二进制安全的，这便意味着该类型 存入和获取的数据相同。 在 Redis 中字符串类型的 Value 最多可以容纳的数据长度是 512M。

**4.2常用命令**

(1)赋值

eet key value：设定key持有指定的字符串value，如果该value存在则进行覆盖操作。总是返回”OK”。

(2)取值

get key：获取key的value。如果与该key 关联的value不是String类型，redis将返回错误信息，因为get命令只能用于获取String value；如果该key不存在，返回(nil)。

getset key value：先获取该key的值，然后在设置该key的值。

(3)删除(通用)

del key ：删除指定key

(4)数值增减

incr key：将指定的key的value原子性的递增 1。如果该key不存在，其初始值为0，在incr之后其值为1。如果value的值不能转成整型，如hello，该操作将执行失败并返回相应的错误信息。

decr key：将指定的key的value原子性的递减1。如果该key不存在，其初始值为0，在incr之后其值为-1。如果value的值不能转成整型，如hello，该操作将执行失败并返回相应的错误信息。

常用命令

incrby key increment：将指定的key的value原子性增加increment，如果该key不存在，其初始值为0，在incrby之后，该值为increment。如果该值不能转成整型，如hello则失败并返回错误信息。

decrby key decrement：将指定的key的value原子性减少 decrement，如果该key不存在，其初始值为 0，在 decrby 之后，该值为 decrement。如果该值不能转成整型，如 hello 则失败并返回错误信息。

append key value：追加字符串。如果该key存在，则在原有的value 后追加该值；如果该key不存在，则重新创建一个key/value。

Set key value 如果key相同，value 覆盖。

Append key value 如果key相同，value追加

flushall 删除所有key

**5存储hash**

**5.1概述**

Redis中的Hash类型可以看成具有String Key和String Value的map容器。所以该类型非常适合于存储值对象的信息。如Username、Password和Age等。如果Hash中包含很少的字段，那么该类型的数据也将仅占用很少的磁盘空间。每一个Hash可以存储 4294967295个键值对。

String map<String,String>

非常容易存储 java 中的 JavaBean 数据

**5.2常用命令**

(1)赋值

hset key field value：为指定的key设定field/value对(键值对)

hmset key field value \[field2 value2 …\]：设置key中的多个filed/value

(2)取值

hget key field：返回指定的key中的field的值

hmget key fileds：获取key中的多个filed的值

hgetall key：获取key中的所有filed-vaule

(3)删除

hdel key field \[field … \] ：可以删除一个或多个字段，返回值是被删除的字段个数

del key ：删除整个list

(4)增加数字

hincrby key field increment：设置key中filed的值增加increment，如：age增加20

(5)其他命令

hexists key field：判断指定的key中的filed是否存在：

0不存在、1存在

hlen key：获取 key 所包含的 field 的数量

hkeys key ：获得所有的 field

hvals key：获得所有的 value

**6存储List**

**6.1概述**

在Redis中，List类型是按照插入顺序排序的字符串链表。和数据结构中的普通链表一样，可以在其头部(left)和尾部(right)添加新的元素。在插入时，如果该键并不存在，Redis将为该键创建一个新的链表。与此相反，如果链表中所有的元素均被移除，那么该键也将会被从数据库中删除。List中可以包含的最大元素数量是4294967295。

ArrayList使用数组方式存储数据，所以根据索引查询数据速度快。

LinkedList使用双向链接方式存储数据，所以插入、删除数据速度快。

存储方式String LinkedList<Object>

**6.2常用命令**

(1)两端添加

lpush key values\[value1 value2…\]：在指定的key所关联的list的头部插入所有的values，如果该key不存在，该命令在插入的之前创建一个与该key关联的空链表，之后再向该链表的头部插入数据。插入成功，返回元素的个数。

rpush key values\[value1、value2…\]：在该list的尾部添加元素。

(2)查看列表

lrange key start end：获取链表中从 start 到 end 的元素的值，start、end 从 0 开始计数；也可为负数，若为-1 则表示链表尾部的元素，-2 则表示倒数第二个，依次类推…

(3)两端弹出(删除)

lpop key：返回并弹出指定的 key 关联的链表中的第一个元素，即头部元素。如果该 key 不存在，返回 nil；若 key 存在，则返回链表的头部元素。

rpop key：从尾部弹出元素。

(4)获取列表中元素的个数

llen key：返回指定的 key 关联的链表中的元素的数量。

(5)其他命令

lpushx key value：仅当参数中 指定的 key 存在 时，向关联的 list 的头部插入 value。如果不存在，将不进行插入。

rpushx key value：key 也是必须存在。在该 list 的尾部添加元素。

**lrem key count value ：**删除count个值为value的元素，如果count大于0，从头向尾遍历**并删除count个值为value的元素，**如果count 小于0，则从尾向头遍历并删除。如果count等于0，则删除链表中所有等于value的元素。

lset key index value：设置链表中的index的脚标的元素值，0代表链表的头元素，-1代表链表的尾元素。操作链表的脚标不存在则抛异常。

linsert key before|after pivot value：在pivot元素前或者后插入value 这个元素。

**rpoplpush resource destination ：**将链表中的尾部元素弹出并添加到头部。\[循环操作\]

rpoplpush的使用场景：

Redis链表经常会被用于消息队列的服务，以完成多程序之间的消息交换。假设一个应用程序正在执行LPUSH操作向链表中添加新的元素，我们通常将这样的程序称之为"生产者(Producer)"，而另外一个应用程序正在执行RPOP操作从链表中取出元素，我们称这样的程序为"消费者(Consumer)"。如果此时，消费者程序在取出消息元素后立刻崩溃，由于该消息已经被取出且没有被正常处理，那么我们就可以认为该消息已经丢失，由此可能会导致业务数据丢失，或业务状态的不一致等现象的发生。然而通过使用RPOPLPUSH命令，消费者程序在从主消息队列中取出消息之后再将其插入到备份队列中，直到消费者程序完成正常的处理逻辑后再将该消息从备份队列中删除。同时我们还可以提供一个守护进程，当发现备份队列中的消息过期时，可以重新将其再放回到主消息队列中，以便其它的消费者程序继续处理。

**7存储Set**

**7.1概述**

在Redis中，我们可以将Set类型看作为没有排序的字符集合，和List 类型一样，我们也可以在该类型的数据值上执行添加、删除或判断某一元素是否存在等操作。需要说明的是，这些操作的时间复杂度为 O(1)，即常量时间内完成次操作。Set可包含的最大元素数量是 4294967295。和List类型不同的是，Set集合中不允许出现重复的元素，这一点和C++标准库中的set容器是完全相同的。换句话说，如果多次添加相同元素，Set中将仅保留该元素的一份拷贝。和List类型相比，Set类型在功能上还存在着一个非常重要的特性，即在服务器端完成多个Sets之间的聚合计算操作，如unions、intersections和 differences。由于这些操作均在服务端完成，因此效率极高，而且也节省了大量的网络IO开销。

**7.2常用命令**

(1)添加/删除元素

sadd key values\[value1、value2…\]：向 set 中添加数据，如果该 key 的值已有则不会重复添加

srem key members\[member1、member2…\]：删除 set 中指定的成员

(2)获得集合中的元素

smembers key：获取 set 中所有的成员

sismember key member：判断参数中指定的成员是否在该set中，1表示存在，0表示不存在或者该key本身就不存在。(无论集合中有多少元素都可以极速的返回结果)

(3)集合的差集运算A-B

sdiff key1 key2…：返回key1与key2中相差的成员，而且与key的顺序有关。即返回差集(属于A并且不属于B的元素构成的集合)。

(4)集合的交集运算A**∩**B

sinter key1 key2 key3…：返回交集(属于A且属于B的元素构成的集合)。

(5)集合的并集运算A**∪**B

sunion key1 key2 key3…： 返回并集(属于 A 或者属于 B 的元素构成的集合)。

(6)其他命令

scard key：获取 set 中成员的数量

srandmember key：随机返回 set 中的一个成员

sdiffstore destination key1 key2…：将key1、key2相差的成员存储在 destination 上

sinterstore destination key\[key…\]：将返回的交集存储在destination 上

sunionstore destination key\[key…\]：将返回的并集存储在destination 上

使用场景

(1)可以使用Redis的Set数据类型跟踪一些唯一性数据，比如访问某一博客的唯一IP地址信息。对于此场景，我们仅需在每次访问该博客时将访问者的IP存入Redis中，Set 数据类型会自动保证IP地址的唯一性。

(2)充分利用Set类型的服务端聚合操作方便、高效的特性，可以用于维护数据对象之间的关联关系。比如所有购买某一电子设备的客户ID被存储在一个指定的Set中，而购买另外一种电子产品的客户ID 被存储在另外一个Set中，如果此时我们想获取有哪些客户同时购买了这两种商品时，Set的intersections命令就可以充分发挥它的方便和效率的优势了。

**8存储 sortedset**

**8.1概述**

Sorted-Set和Set类型极为相似，它们都是字符串的集合，都不允许重复的成员出现在一个Set中。它们之间的主要差别是Sorted-Set中的每一个成员都会有一个分数(score)与之关联，Redis正是通过分数来为集合中的成员进行从小到大的排序。然而需要额外指出的是，尽管Sorted-Set中的成员必须是唯一的，但是分数(score)却是可以重复的。

在Sorted-Set中添加、删除或更新一个成员都是非常快速的操作，其时间复杂度为集合中成员数量的对数。由于Sorted-Set中的成员在集合中的位置是有序的，因此，即便是访问位于集合中部的成员也仍然是非常高效的。事实上，Redis所具有的这一特征在很多其它类型的数据库中是很难实现的，换句话说，在该点上要想达到和Redis同样的高效，在其它数据库中进行建模是非常困难的。

**8.2常用命令**

(1)添加元素

zadd key score member score2 member2 … ：将所有成员以及该成员的分数存放到sorted-set中。如果该元素已经存在则会用新的分数替换原有的分数。返回值是新加入到集合中的元素个数，不包含之前已经存在的元素。

(2)获得元素

zscore key member：返回指定成员的分数

zcard key：获取集合中的成员数量

(3)删除元素

zrem key member\[member…\]：移除集合中指定的成员，可以指定多个成员。

(4)范围查询

zrange key start end \[withscores\]：获取集合中脚标为 start-end 的成员，\[withscores\]参数表明返回的成员包含其分数。

zrevrange key start stop \[withscores\]： 照元素分数从大到小的顺序返回索引从 start 到 stop 之间的所有元素（包含两端的元素）。

zremrangebyrank key start stop: 按照排名范围删除元素。

zremrangebyscore key min max：按照分数范围删除元素。

(5)其他命令

zrangebyscore key min max \[withscores\] \[limit offset count\]：返回分数在\[min,max\]的成员并按照分数从低到高排序。\[withscores\]：显示分数；\[limit offset count\]：offset，表明从脚标为 offset 的元素开始并返回 count 个成员。

zincrby key increment member：设置指定成员的增加的分数。返回值是更改后的分数。

zcount key min max：获取分数在\[min,max\]之间的成员

zrank key member：返回成员在集合中的排名。 （从小到大）

zrevrank key member：返回成员在集合中的排名。 （从大到小）

**8.3使用场景**

(1)可以用于一个大型在线游戏的积分排行榜。每当玩家的分数发生变化时，可以执行ZADD命令更新玩家的分数，此后再通过ZRANGE命令获取积分TOPTEN的用户信息。当然我们也可以利用ZRANK命令通过username来获取玩家的排行信息。最后我们将组合使用ZRANGE和ZRANK命令快速的获取和某个玩家积分相近的其他用户的信息。

(2)Sorted-Set 类型还可用于构建索引数据。

**9 Keys的通用操作**

keys pattern：获取所有与pattern匹配的key，返回所有与该key匹配的keys。\*表示任意一个或多个字符，?表示任意一个字符。

del key1 key2…：删除指定的 key

exists key：判断该 key 是否存在，1 代表存在，0 代表不存在

rename key newkey：为当前的 key 重命名

expire key ：设置过期时间，单位：秒

ttl key：获取该 key 所剩的超时时间，如果没有设置超时，返回-1。如果返回-2 表示超时不存在。

type key：获取指定 key 的类型。该命令将以字符串的格式返回。 返回的字符串为 string、list、set、hash 和 zset，如果 key 不存在返回 none。

**10 Redis特性**

**10.1多数据库**

一个 Redis 实例可以包括多个数据库，客户端可以指定连接某个 redis 实例的哪个数据库，就好比一个 mysql 中创建多个数据库，客户端连接时指定连接哪个数据库。

一个 redis 实例最多可提供 16 个数据库，下标从 0 到 15，客户端默认连接第 0 号数据库，也可以通过 select 选择连接哪个数据库。

连接 1 号库：127.0.0.1:6379>select 1

将newkey移植到1号库：move newkey 1

**10.2服务器命令**

echo：在命令行打印一些内容

select num：选择几号数据库，当num为16时报错。\[0,15\]

quit：退出连接

dbsize：返回当前数据库中key的数目

Info：获取服务器的信息和统计。

flushdb：删除当前选择数据库中的所有 key。

flushall：删除所有数据库中的所有 key。

**10.3消息订阅与发布**

subscribe channel：订阅频道

psubscribe channael\*：批量订阅频道

publish channel content：在指定的频道中发布消息

**7.4 redis事务**

概念：和众多其它数据库一样，Redis作为NoSQL数据库也同样提供了事务机制。在Redis中，MULTI/EXEC/DISCARD这三个命令是我们实现事务的基石。

**redis事务特征**

1、在事务中的所有命令都将会被串行化的顺序执行，事务执行期间，Redis不会再为其它客户端的请求提供任何服务，从而保证了事务中的所有命令被原子的执行。

2、和关系型数据库中的事务相比，在Redis事务中如果有某一条命令执行失败，其后的命令仍然会被继续执行。

3、可以通过MULTI命令开启一个事务，有关系型数据库开发经验的人可以将其理解为”BEGIN TRANSACTION”语句。在该语句之后执行的命令都将被视为事务之内的操作，最后可以通过执行EXEC/DISCARD命令来提交/回滚该事务内的所有操作。这两个Redis命令可被视为等同于关系型数据库中的COMMIT/ROLLBACK语句。

4、在事务开启之前，如果客户端与服务器之间出现通讯故障并导致网络断开，其后所有待执行的语句都将不会被服务器执行。然而如果网络中断事件是发生在客户端执行EXEC命令之后，那么该事务中的所有命令都会被服务器执行。

5、当使用Append-Only模式时，Redis会通过调用系统函数write将该事务内的所有写操作在本次调用中全部写入磁盘。然而如果在写入的过程中出现系统崩溃，如电源故障导致的宕机，那么此时也许只有部分数据被写入到磁盘，而另一部分数据却已经丢失。Redis服务器会在重新启动时执行一系列必要的一致性检测，一旦发现类似问题，就会立即退出并给出相应的错误提示。此时，要充分利用Redis工具包中提供的redis-check-aof工具，该工具可以帮助定位到数据不一致的错误，并将已经写入的部分数据进行回滚。修复之后就可以再次重新启动Redis服务器了。

**7.5命令解释**

muti：开启事务用于标记事务的开始，其后执行的命令都将被存入命令队列，直到执行EXEC时，这些命令才会被原子的执行，类似与关系型数据库中的：begin transaction

exec：提交事务，类似与关系型数据库中的commit

discard：事务回滚，类似与关系型数据库中的rollback

**7.6 redis持久化**

Redis的高性能是由于其将所有数据都存储在了内存中，为了使Redis在重启之后仍能保证数据不丢失，需要将数据从内存中同步到硬盘中，这一过程就是持久化。

Redis支持两种方式的持久化，一种是RDB方式，一种是AOF方式。可以单独使用其中一种或将二者结合使用。

1、RDB持久化(默认支持，无需配置)

该机制是指在指定的时间间隔内将内存中的数据集快照写入磁盘。

2、AOF持久化

该机制将以日志的形式记录服务器所处理的每一个写操作，在Redis服务器启动之初会读取该文件来重新构建数据库，以保证启动后数据库中的数据是完整的。

3、无持久化