二 Redis 简介与配置文件介绍

阳光穿透心脏的1/2处 2022-03-25 04:41 216阅读 0赞

> **学习内容**
> 
> [一 Redis安装与部署][Redis]
> 
> [二 Redis简介与配置文件介绍][Redis 1]
> 
> 三 Redis基础数据类型详解
> 
> 四 Redis高级命令
> 
> 五 Redis与java的使用
> 
> 六 Redis消息队列
> 
> 七 Redis发布，订阅消息
> 
> 八 Redis集群搭建
> 
> 九 Redis集群与spring的整合/TomcatRedis的session共享

> ### 前言 ###
> 
>    **关系型数据库和非关系型数据库的区别**
> 
>    **关系型数据库：** SQL Server，Oracle，Mysql，PostgreSQL
> 
>          关系型数据库是指采用了关系模型来组织数据的数据库。简单来说，关系模式就是二维表格模型。
> 
>           优点： 事务的一致性。容易理解，二维表的结构非常贴近现实世界，二维表格，容易理解。使用方便，通用的sql语句使得操作关系型数据库非常方便。易于维护，数据库的ACID属性，大大降低了数据冗余和数据不一致的概率。
> 
>           缺点：海量数据的读写效率，对于网站的并发量高，往往达到每秒上万次的请求，对于传统关系型数据库来说，硬盘I/o是一个很大的挑战。高扩展性和可用性，在基于web的结构中，数据库是最难以横向拓展的，当一个应用系统的用户量和访问量与日俱增的时候，数据库没有办法像web Server那样简单的通过添加更多的硬件和服务节点来拓展性能和负载能力
> 
>    **非关系型数据库（nosql****）：**MongoDB，Redis、CouchDB
> 
>          NoSQL主要指那些非关系型的、分布式的，提出了另一种理念，以键值来存储，且结构不稳定，每一个元组都可以有不一样的字段，这种就不会局限于固定的结构，可以减少一些时间和空间的开销。使用这种方式，为了获取用户的不同信息，不需要像关系型数据库中，需要进行多表查询。仅仅需要根据key来取出对应的value值即可。
> 
>         NoSQL的四大类，键值存储数据库，列存储数据库，文档型数据库，图形数据库
> 
>         非关系型数据库特点：数据模型比较简单，对数据库性能要求较高，不需要高度的数据一致性。

### **一 （NOSQL）Redis 简介** ###

[redis][]是一种支持Key-Value等多种数据结构的存储系统，该数据库使用ANSI C语言编写支持网络，提供字符串，哈希，列表，队列，集合结构直接存取，基于内存，可持久化。键可以包含：字符串，哈希，list链表，set集合，zset有序集合。这些数据集合都支持push/pop，add/remove及取交集和并集以及更丰富的操作，redis支持各种不同的方式排序，为了保证效率，数据都是缓存在内存中，它也可以周期性的把更新的数据写入磁盘或者把修改操作写入追加到文件记。

> **redis的应用场景有哪些**
> 
> 1.  会话缓存（最常用）
> 2.  消息队列，比如支付3，活动排行榜或计数
> 3.  发布，订阅消息（消息通知）
> 4.  商品列表，评论列表等

>  **redis 三种策略：  **1: 主从机制  2: 哨兵机制  3: 集群机制（3.0后，数据可以均摊，可移植）
> 
> **优点：** 对数据高并发读写，对海量数据的高效率读写，对数据的**高扩展性**和**高可用性**，**高可靠**（持久化操作 rdb和aof日志常用）
> 
> **缺点：**redis( acid 处理非常简单) 无法做到太复杂的关系数据库模型。

### **二** Redis.conf **的配置文件介绍** ###

**1、开头说明**

# Redis configuration file example.
    #
    # Note that in order to read the configuration file, Redis must be
    # started with the file path as first argument:
    #
    # ./redis-server /path/to/redis.conf
    
    # Note on units: when memory size is needed, it is possible to specify
    # it in the usual form of 1k 5GB 4M and so forth:
    #
    # 1k => 1000 bytes
    # 1kb => 1024 bytes
    # 1m => 1000000 bytes
    # 1mb => 1024*1024 bytes
    # 1g => 1000000000 bytes
    # 1gb => 1024*1024*1024 bytes
    #
    # units are case insensitive so 1GB 1Gb 1gB are all the same.

> 需要注意的是后面需要使用内存大小时，可以指定单位，通常是以 k,gb,m的形式出现，并且**单位不区分大小写**。

**2、 INCLUDES **

################################## INCLUDES ###################################
    
    # Include one or more other config files here.  This is useful if you
    # have a standard template that goes to all Redis servers but also need
    # to customize a few per-server settings.  Include files can include
    # other files, so use this wisely.
    #
    # Notice option "include" won't be rewritten by command "CONFIG REWRITE"
    # from admin or Redis Sentinel. Since Redis always uses the last processed
    # line as value of a configuration directive, you'd better put includes
    # at the beginning of this file to avoid overwriting config change at runtime.
    #
    # If instead you are interested in using includes to override configuration
    # options, it is better to use include as the last line.
    #
    # include /path/to/local.conf
    # include /path/to/other.conf

> 这在你有标准配置模板但是每个redis服务器又需要个性设置的时候很有用。这时候多个配置文件就可以在此通过 include /path/to/local.conf 配置进来，而原本的 redis.conf 配置文件就作为一个总闸。
> 
> \# include /path/to/local.conf  
> \# include /path/to/other.conf

**3、MODULES**

################################## MODULES #####################################
    
    # Load modules at startup. If the server is not able to load modules
    # it will abort. It is possible to use multiple loadmodule directives.
    #
    # loadmodule /path/to/my_module.so
    # loadmodule /path/to/other_module.so

> redis3.0的爆炸功能是新增了集群，而redis4.0就是在3.0的基础上新增了许多功能，其中这里的 自定义模块配置就是其中之一。通过这里的 loadmodule 配置将引入自定义模块来新增一些功能。

**4、NETWORK**

>  （1）bind：绑定redis服务器网卡IP，默认为127.0.0.1,即本地回环地址。这样的话，访问redis服务只能通过本机的客户端连接，而无法通过远程连接。如果bind选项为空的话，那会接受所有来自于可用网络接口的连接。
> 
> （2） port：指定redis运行的端口，默认是6379。由于Redis是单线程模型，因此单机开多个Redis进程的时候会修改端口。
> 
> （3）timeout：设置客户端连接时的超时时间，单位为秒。当客户端在这段时间内没有发出任何指令，那么关闭该连接。默认值为0，表示不关闭。
> 
> （4）tcp-keepalive ：单位是秒，表示将周期性的使用SO\_KEEPALIVE检测客户端是否还处于健康状态，避免服务器一直阻塞，官方给出的建议值是300s，如果设置为0，则不会周期性的检测。

**5、GENERAL**

> （1）daemonize no： 是否在后台执行，yes：后台运行；no：不是后台运行（老版本默认）
> 
> （2）supervised no ： 可以通过upstart和systemd管理Redis守护进程  
> 选项：  
>    supervised no - 没有监督互动  
>    supervised upstart - 通过将Redis置于SIGSTOP模式来启动信号  
>    supervised systemd - signal systemd将READY = 1写入$ NOTIFY\_SOCKET  
>    supervised auto - 检测upstart或systemd方法基于 UPSTART\_JOB或NOTIFY\_SOCKET环境变量
> 
> （3）pidfile /var/run/redis\_6379.pid ： redis的进程文件，当redis作为守护进程运行的时候，它会把 pid 默认写到 /var/redis/run/redis\_6379.pid 文件里面
> 
> （4）loglevel notice ：日志级别。可选项有：debug（记录大量日志信息，适用于开发、测试阶段）；  verbose（较多日志信息）；  notice（适量日志信息，使用于生产环境）；warning（仅有部分重要、关键信息才会被记录）。
> 
> （5）logfile ：配置log文件地址,默认打印在命令行终端的窗口上，当指定为空字符串时，为标准输出，如果redis已守护进程模式运行，那么日志将会输出到/dev/null
> 
> （6）databases：设置数据库的数目。默认的数据库是DB 0 ，可以在每个连接上使用select  <dbid> 命令选择一个不同的数据库，dbid是一个介于0到databases - 1 之间的数值。默认值是 16，也就是说默认Redis有16个数据库。

**6、SNAPSHOTTING**

>     # save ""
>     # 默认如下配置：
>     save 900 1
>     save 300 10
>     save 60 10000
>     
>     存 DB 到磁盘：
>         格式：save <间隔时间（秒）> <写入次数>
>         根据给定的时间间隔和写入次数将数据保存到磁盘
>         下面的例子的意思是：
>         900 秒内如果至少有 1 个 key 的值变化，则保存
>         300 秒内如果至少有 10 个 key 的值变化，则保存
>         60 秒内如果至少有 10000 个 key 的值变化，则保存
>      　　
>         注意：你可以注释掉所有的 save 行来停用保存功能。
>         也可以直接一个空字符串来实现停用：
>         save ""
> 
> （1）save：这里是用来配置触发 Redis的持久化条件，也就是什么时候将内存中的数据保存到硬盘
> 
> （2）stop-writes-on-bgsave-error ：默认值为yes。当启用了RDB且最后一次后台保存数据失败，Redis是否停止接收数据。这会让用户意识到数据没有正确持久化到磁盘上，否则没有人会注意到灾难（disaster）发生了。如果Redis重启了，那么又可以重新开始接收数据了
> 
> （3）rdbcompression ；默认值是yes。对于存储到磁盘中的快照，可以设置是否进行压缩存储。如果是的话，redis会采用LZF算法进行压缩。如果你不想消耗CPU来进行压缩的话，可以设置为关闭此功能，但是存储在磁盘上的快照会比较大。
> 
> （4）rdbchecksum ：默认值是yes。在存储快照后，我们还可以让redis使用CRC64算法来进行数据校验，但是这样做会增加大约10%的性能消耗，如果希望获取到最大的性能提升，可以关闭此功能。
> 
> （5）dbfilename ：设置快照的文件名，默认是 dump.rdb
> 
> （6）dir：设置快照文件的存放路径，这个配置项一定是个目录，而不能是文件名。使用上面的 dbfilename 作为保存的文件名。

**7、REPLICATION**

> （1）slave-serve-stale-data：默认值为yes。当一个 slave 与 master 失去联系，或者复制正在进行的时候，slave 可能会有两种表现：
> 
>   　　　　1) 如果为 yes ，slave 仍然会应答客户端请求，但返回的数据可能是过时，或者数据可能是空的在第一次同步的时候 
> 
>   　　　　2) 如果为 no ，在你执行除了 info he salveof 之外的其他命令时，slave 都将返回一个 "SYNC with master in progress" 的错误
> 
> （2）slave-read-only：配置Redis的Slave实例是否接受写操作，即Slave是否为只读Redis。默认值为yes。
> 
> （3）repl-diskless-sync：主从数据复制是否使用无硬盘复制功能。默认值为no。
> 
> （4）repl-diskless-sync-delay：当启用无硬盘备份，服务器等待一段时间后才会通过套接字向从站传送RDB文件，这个等待时间是可配置的。  这一点很重要，因为一旦传送开始，就不可能再为一个新到达的从站服务。从站则要排队等待下一次RDB传送。因此服务器等待一段  时间以期更多的从站到达。延迟时间以秒为单位，默认为5秒。要关掉这一功能，只需将它设置为0秒，传送会立即启动。默认值为5。
> 
> （5）repl-disable-tcp-nodelay：同步之后是否禁用从站上的TCP\_NODELAY 如果你选择yes，redis会使用较少量的TCP包和带宽向从站发送数据。但这会导致在从站增加一点数据的延时。  Linux内核默认配置情况下最多40毫秒的延时。如果选择no，从站的数据延时不会那么多，但备份需要的带宽相对较多。默认情况下我们将潜在因素优化，但在高负载情况下或者在主从站都跳的情况下，把它切换为yes是个好主意。默认值为no

**8、SECURITY**

> （1）rename-command：命令重命名，对于一些危险命令例如：
> 
> 　　　　flushdb（清空数据库）
> 
> 　　　　flushall（清空所有记录）
> 
> 　　　　config（客户端连接后可配置服务器）
> 
> 　　　　keys（客户端连接后可查看所有存在的键）                   
> 
> 　　作为服务端redis-server，常常需要禁用以上命令来使得服务器更加安全，禁用的具体做法是是：
> 
>  *  rename-command FLUSHALL ""
> 
> 也可以保留命令但是不能轻易使用，重命名这个命令即可：
> 
>  *  rename-command FLUSHALL abcdefg
> 
> 　　这样，重启服务器后则需要使用新命令来执行操作，否则服务器会报错unknown command。

**9、CLIENTS**

> （1）maxclients ：设置客户端最大并发连接数，默认无限制，Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件。  描述符数-32（redis server自身会使用一些），如果设置 maxclients为0 。表示不作限制。当客户端连接数到达限制时，Redis会关闭新的连接并向客户端返回max number of clients reached错误信息

** 10、MEMORY MANAGEMENT**

> （1）maxmemory：设置客户端最大并发连接数，默认无限制，Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件。描述符数-32（redis server自身会使用一些），如果设置 maxclients为0 。表示不作限制。当客户端连接数到达限制时，Redis会关闭新的连接并向客户端返回max number of clients reached错误信息。
> 
> （2）maxmemory-policy ：当内存使用达到最大值时，redis使用的清楚策略。有以下几种可以选择：
> 
> 　　　　1）volatile-lru   利用LRU算法移除设置过过期时间的key (LRU:最近使用 Least Recently Used ) 
> 
> 　　　　2）allkeys-lru   利用LRU算法移除任何key 
> 
> 　　　　3）volatile-random 移除设置过过期时间的随机key 
> 
> 　　　　4）allkeys-random  移除随机ke
> 
> 　　　　5）volatile-ttl   移除即将过期的key(minor TTL) 
> 
> 　　　　6）noeviction  noeviction   不移除任何key，只是返回一个写错误 ，默认选项
> 
> （3）maxmemory-samples ：LRU 和 minimal TTL 算法都不是精准的算法，但是相对精确的算法(为了节省内存)。随意你可以选择样本大小进行检，redis默认选择3个样本进行检测，你可以通过maxmemory-samples进行设置样本数。

** 11、LAZY FREEING **

> redis 4.0 引入了lazyfree的机制，它可以将删除键或数据库的操作放在后台线程里执行， 从而尽可能地避免服务器阻塞。
> 
> (1) unlink，调用delGenericCommand，第二个参数为1表示需要异步删除，delGenericCommand函数根据lazy参数来决定是同步删除还是异步删除
> 
>     /* This command implements DEL and LAZYDEL. */
>     void delGenericCommand(client *c, int lazy) {
>         int numdel = 0, j;
>      
>         for (j = 1; j < c->argc; j++) {
>             expireIfNeeded(c->db,c->argv[j]);
>             int deleted  = lazy ? dbAsyncDelete(c->db,c->argv[j]) :
>                                   dbSyncDelete(c->db,c->argv[j]);
>             if (deleted) {
>                 signalModifiedKey(c->db,c->argv[j]);
>                 notifyKeyspaceEvent(REDIS_NOTIFY_GENERIC,
>                     "del",c->argv[j],c->db->id);
>                 server.dirty++;
>                 numdel++;
>             }
>         }
>         addReplyLongLong(c,numdel);
>     }
> 
> （2） FLUSHALL、FLUSHDB命令，通过对FLUSHALL/FLUSHDB添加ASYNC异步清理选项，redis在清理整个实例或DB时，操作都是异步的。

** 12、APPEND ONLY MODE**

> (1) appendonly：默认redis使用的是rdb方式持久化，这种方式在许多应用中已经足够用了。但是redis如果中途宕机，会导致可能有几分钟的数据丢失，根据save来策略进行持久化，Append Only File是另一种持久化方式，  可以提供更好的持久化特性。Redis会把每次写入的数据在接收后都写入appendonly.aof文件，每次启动时Redis都会先把这个文件的数据读入内存里，先忽略RDB文件。默认值为no。
> 
> (2) appendfilename ：aof文件名，默认是"appendonly.aof"
> 
> (3) appendfsync：aof持久化策略的配置；no表示不执行fsync，由操作系统保证数据同步到磁盘，速度最快；always表示每次写入都执行fsync，以保证数据同步到磁盘；everysec表示每秒执行一次fsync，可能会导致丢失这1s数据
> 
> (4) no-appendfsync-on-rewrite：在aof重写或者写入rdb文件的时候，会执行大量IO，此时对于everysec和always的aof模式来说，执行fsync会造成阻塞过长时间，no-appendfsync-on-rewrite字段设置为默认设置为no。如果对延迟要求很高的应用，这个字段可以设置为yes，否则还是设置为no，这样对持久化特性来说这是更安全的选择。   设置为yes表示rewrite期间对新写操作不fsync,暂时存在内存中,等rewrite完成后再写入，默认为no，建议yes。Linux的默认fsync策略是30秒。可能丢失30秒数据。默认值为no。
> 
> (5) auto-aof-rewrite-percentage：默认值为100。aof自动重写配置，当目前aof文件大小超过上一次重写的aof文件大小的百分之多少进行重写，即当aof文件增长到一定大小的时候，Redis能够调用bgrewriteaof对日志文件进行重写。当前AOF文件大小是上次日志重写得到AOF文件大小的二倍（设置为100）时，自动启动新的日志重写过程。
> 
> (6) auto-aof-rewrite-min-size：64mb。设置允许重写的最小aof文件大小，避免了达到约定百分比但尺寸仍然很小的情况还要重写。
> 
> (7) aof-load-truncated：aof文件可能在尾部是不完整的，当redis启动的时候，aof文件的数据被载入内存。重启可能发生在redis所在的主机操作系统宕机后，尤其在ext4文件系统没有加上data=ordered选项，出现这种现象  redis宕机或者异常终止不会造成尾部不完整现象，可以选择让redis退出，或者导入尽可能多的数据。如果选择的是yes，当截断的aof文件被导入的时候，会自动发布一个log给客户端然后load。如果是no，用户必须手动redis-check-aof修复AOF文件才可以。默认值为 yes。

** 13、LUA SCRIPTING**

> (1) lua-time-limit：一个lua脚本执行的最大时间，单位为ms。默认值为5000.

** 14、REDIS CLUSTER**

> (1) cluster-enabled：集群开关，默认是不开启集群模式。
> 
> (2) cluster-config-file：集群配置文件的名称，每个节点都有一个集群相关的配置文件，持久化保存集群的信息。 这个文件并不需要手动配置，这个配置文件有Redis生成并更新，每个Redis集群节点需要一个单独的配置文件。请确保与实例运行的系统中配置文件名称不冲突。默认配置为nodes-6379.conf。
> 
> (3) cluster-node-timeout ：可以配置值为15000。节点互连超时的阀值，集群节点超时毫秒数
> 
> (4) cluster-slave-validity-factor ：可以配置值为10。在进行故障转移的时候，全部slave都会请求申请为master，但是有些slave可能与master断开连接一段时间了，  导致数据过于陈旧，这样的slave不应该被提升为master。该参数就是用来判断slave节点与master断线的时间是否过长。判断方法是：比较slave断开连接的时间和(node-timeout \* slave-validity-factor) + repl-ping-slave-period     如果节点超时时间为三十秒, 并且slave-validity-factor为10,假设默认的repl-ping-slave-period是10秒，即如果超过310秒slave将不会尝试进行故障转移
> 
> (5) cluster-migration-barrier ：可以配置值为1。master的slave数量大于该值，slave才能迁移到其他孤立master上，如这个参数若被设为2，那么只有当一个主节点拥有2 个可工作的从节点时，它的一个从节点会尝试迁移。
> 
> (6) cluster-require-full-coverage：默认情况下，集群全部的slot有节点负责，集群状态才为ok，才能提供服务。  设置为no，可以在slot没有全部分配的时候提供服务。不建议打开该配置，这样会造成分区的时候，小分区的master一直在接受写请求，而造成很长时间数据不一致。

**15、CLUSTER DOCKER/NAT support**

> redis-cluster集群

**16、SLOW LOG**

> redis的slowlog是redis用于记录记录慢查询执行时间的日志系统。由于slowlog只保存在内存中，因此slowlog的效率很高，完全不用担心会影响到redis的性能

[Redis]: https://blog.csdn.net/qq_15988615/article/details/86512156
[Redis 1]: https://blog.csdn.net/qq_15988615/article/details/86541871
[redis]: https://www.huaweicloud.com/product/dcs.html?wx