Redis:八、主从复制和虚拟内存

喜欢ヅ旅行 2022-06-17 09:12 224阅读 0赞

redis主从复制配置和使用都非常简单。通过主从复制可以允许多个slave server拥有和master server相同的数据库副本。下面是关于redis主从复制的一些特点  
1.master可以有多个slave  
2.除了多个slave连到相同的master外，slave也可以连接其他slave形成图状结构  
3.主从复制不会阻塞master。也就是说当一个或多个slave与master进行初次同步数据时，master可以继续处理client发来的请求。相反slave在初次同步数据时则会阻塞不能处理client的请求。  
4.主从复制可以用来提高系统的可伸缩性,我们可以用多个slave 专门用于client的读请求，比如sort操作可以使用slave来处理。也可以用来做简单的数据冗余  
5.可以在master禁用数据持久化，只需要注释掉master 配置文件中的所有save配置，然后只在slave上配置数据持久化。  
下面介绍下主从复制的过程  
       当设置好slave服务器后，slave会建立和master的连接，然后发送sync命令。无论是第一次同步建立的连接还是连接断开后的重新连 接，master都会启动一个后台进程，将数据库快照保存到文件中，同时master主进程会开始收集新的写命令并缓存起来。后台进程完成写文件 后，master就发送文件给slave，slave将文件保存到磁盘上，然后加载到内存恢复数据库快照到slave上。接着master就会把缓存的命 令转发给slave。而且后续master收到的写命令都会通过开始建立的连接发送给slave。从master到slave的同步数据的命令和从 client发送的命令使用相同的协议格式。当master和slave的连接断开时slave可以自动重新建立连接。如果master同时收到多个 slave发来的同步连接命令，只会使用启动一个进程来写数据库镜像，然后发送给所有slave。  
配置slave服务器很简单，只需要在配置文件中加入如下配置

slaveof 192.168.1.1 6379  \#指定master的ip和端口

虚拟内存：

首先说明下redis的虚拟内存与os的虚拟内存不是一码事，但是思路和目的都是相同的。就是暂时把不经常访问的数据从内存交换到磁盘中，从而腾出宝贵的 内存空间用于其他需要访问的数据。尤其是对于redis这样的内存数据库，内存总是不够用的。除了可以将数据分割到多个redis server外。另外的能够提高数据库容量的办法就是使用vm把那些不经常访问的数据交换的磁盘上。如果我们的存储的数据总是有少部分数据被经常访问，大 部分数据很少被访问，对于网站来说确实总是只有少量用户经常活跃。当少量数据被经常访问时，使用vm不但能提高单台redis server数据库的容量，而且也不会对性能造成太多影响。  
        redis没有使用os提供的虚拟内存机制而是自己在用户态实现了自己的虚拟内存机制,作者在自己的blog专门解释了其中原因。[http://antirez.com/post/redis-virtual-memory-story.html][http_antirez.com_post_redis-virtual-memory-story.html]  
主要的理由有两点  
1.os 的虚拟内存是已4k页面为最小单位进行交换的。而redis的大多数对象都远小于4k，所以一个os页面上可能有多个redis对象。另外redis的集 合对象类型如list,set可能存在与多个os页面上。最终可能造成只有10%key被经常访问，但是所有os页面都会被os认为是活跃的，这样只有内 存真正耗尽时os才会交换页面。  
2.相比于os的交换方式。redis可以将被交换到磁盘的对象进行压缩,保存到磁盘的对象可以去除指针和对象元数据信息。一般压缩后的对象会比内存中的对象小10倍。这样redis的vm会比os vm能少做很多io操作。  
下面是vm相关配置  
vm-enabled yes                          \#开启vm功能  
vm-swap-file /tmp/redis.swap                 \#交换出来的value保存的文件路径/tmp/redis.swap  
vm-max-memory 1000000                    \#redis使用的最大内存上限，超过上限后redis开始交换value到磁盘文件中。  
vm-page-size 32                    \#每个页面的大小32个字节  
vm-pages 134217728                 \#最多使用在文件中使用多少页面,交换文件的大小 = vm-page-size \* vm-pages  
vm-max-threads 4                    \#用于执行value对象换入换出的工作线程数量。0表示不使用工作线程（后面介绍)  
       redis的vm在设计上为了保证key的查找速度，只会将value交换到swap文件中。所以如果是内存问题是由于太多value很小的key造成 的，那么vm并不能解决。和os一样redis也是按页面来交换对象的。redis规定同一个页面只能保存一个对象。但是一个对象可以保存在多个页面中。 在redis使用的内存没超过vm-max-memory之前是不会交换任何value的。当超过最大内存限制后，redis会选择较老的对象。如果两个 对象一样老会优先交换比较大的对象，精确的公式swappability = age\*log(size\_in\_memory)。 对于vm-page-size的设置应该根据自己的应用将页面的大小设置为可以容纳大多数对象的大小。太大了会浪费磁盘空间，太小了会造成交换文件出现碎 片。对于交换文件中的每个页面，redis会在内存中对应一个1bit值来记录页面的空闲状态。所以像上面配置中页面数量(vm-pages 134217728 )会占用16M内存用来记录页面空闲状态。vm-max-threads表示用做交换任务的线程数量。如果大于0推荐设为服务器的cpu core的数量。如果是0则交换过程在主线程进行。  
参数配置讨论完后，在来简单介绍下vm是如何工作的，  
当vm-max-threads设为0时(Blocking VM)  
换出  
主线程定期检查发现内存超出最大上限后，会直接已阻塞的方式,将选中的对象保存到swap文件中，并释放对象占用的内存,此过程会一直重复直到下面条件满足  
1.内存使用降到最大限制以下  
2.swap文件满了  
3.几乎全部的对象都被交换到磁盘了  
换入  
当有client请求value被换出的key时。主线程会以阻塞的方式从文件中加载对应的value对象，加载时此时会阻塞所以client。然后处理client的请求  
当vm-max-threads大于0(Threaded VM)  
换出  
当主线程检测到使用内存超过最大上限，会将选中的要交换的对象信息放到一个队列中交由工作线程后台处理，主线程会继续处理client请求。  
换入  
如果有client请求的key被换出了，主线程先阻塞发出命令的client,然后将加载对象的信息放到一个队列中，让工作线程去加载。加载完毕后工作线程通知主线程。主线程再执行client的命令。这种方式只阻塞请求value被换出key的client  
总 的来说blocking vm的方式总的性能会好一些，因为不需要线程同步，创建线程和恢复被阻塞的client等开销。但是也相应的牺牲了响应性。threaded vm的方式主线程不会阻塞在磁盘io上，所以响应性更好。如果我们的应用不太经常发生换入换出，而且也不太在意有点延迟的话则推荐使用blocking vm的方式。关于redis vm的更详细介绍可以参考下面链接  
[http://antirez.com/post/redis-virtual-memory-story.html][http_antirez.com_post_redis-virtual-memory-story.html]  
[http://redis.io/topics/internals-vm][http_redis.io_topics_internals-vm]

from:[http://www.cnblogs.com/xhan/archive/2011/02/07/1949717.html][http_www.cnblogs.com_xhan_archive_2011_02_07_1949717.html]

redcreen

[http_antirez.com_post_redis-virtual-memory-story.html]: http://antirez.com/post/redis-virtual-memory-story.html
[http_redis.io_topics_internals-vm]: http://redis.io/topics/internals-vm
[http_www.cnblogs.com_xhan_archive_2011_02_07_1949717.html]: http://www.cnblogs.com/xhan/archive/2011/02/07/1949717.html