redis 集群搭建过程及搭建问题处理

「爱情、让人受尽委屈。」 2022-06-16 02:16 222阅读 0赞

文章目录

1、Redis 简介
    2、Redis 集群搭建
    3、Redis 集群搭建问题记录

--------------------

1、Redis 简介

Redis 的主从复制技术，当实现了多节点的 master-slave 后，我们也可以把它叫做集群，它主要是利用切片技术来组建的集群。集群要实现的目的是要将不同的 key 分散放置到不同的 redis 节点，这里我们需要一个规则或者算法，通常的做法是获取 key 的哈希值，然后根据节点数来求模，但这种做法有其明显的弊端，当我们需要增加或减少一个节点时，会造成大量的 key 无法命中，这种比例是相当高的，所以就有人提出了一致性哈希的概念。
    
    整体设计包含如下几点：
    1. 数据Hash分布在不同的Redis Instatnce上；
    2. M/S的切换采用Sentinel；
    3. 写：只会写master Instance，从sentinel获取当前的master Instane；
    4. 读：从Redis Node中基于权重选取一个Redis Instance读取，失败/超时则轮询其他Instance；
    5. 通过RPC服务访问，RPC server端封装了Redis客户端，客户端基于jedis开发；
    6. 批量写/删除：不保证事务；

参考：  
[http://blog.csdn.net/yfkiss/article/details/38944179][http_blog.csdn.net_yfkiss_article_details_38944179]  
[http://www.cnblogs.com/zhaoguihua/p/redis-005.html][http_www.cnblogs.com_zhaoguihua_p_redis-005.html]

Redis集群搭建准备工作：

* 准备3台机器，IP地址分别为：192.168.1.184、192.168.1.203、192.168.1.208；其中有两台物理机一台虚拟机，192.168.1.208为虚拟机Centos系统，192.168.1.184、192.168.1.203为物理机ubuntu系统；
    * 下载Redis，当前版本为：Redis-3.2.1.tar.gz，将该文件拷贝到以上三台机器的安装目录，然后解压安装到 /srv/redis/ 下，安装过程参考网上安装方式。

--------------------

2、Redis集群搭建

2.1、集群的逻辑结构
    
    要让集群正常工作至少需要3个主节点，在加上Redis的主从架构设计，在这里我们要创建6个redis节点，其中三个为主节点，三个为从节点，对应的redis节点的ip和端口对应关系如下：
    
    192.168.1.184:7000
    192.168.1.184:7001
    192.168.1.208:7002
    192.168.1.208:7003
    192.168.1.203:7004
    192.168.1.203:7005
    
    这样，设计正好每个机器上两个节点，每个节点对应一个redis.conf文件，启动时每个节点对应自己的配置文件。
    
    2.2、环境搭建
    
    在192.168.1.184节点上开始做如下工作：
    
    （1）创建集群文件夹及配置文件redis.conf (带密码认证方式)
    
    创建集群文件夹 /srv/redis_cluster；
    创建2个节点配置文件夹 /srv/redis_cluster/7000和 /srv/redis_cluster/7001；
    创建节点pidfile配置路径 /srv/run/
    拷贝安装路径下的redis.conf到这2个节点配置文件夹；
    然后修改配置文件redis.conf，内容如下：
    
    port 7000
    daemonize yes
    masterauth 自己的密码
    requirepass 自己的密码
    cluster-enabled yes
    cluster-config-file nodes.conf
    cluster-node-timeout 5000
    appendonly no
    pidfile /srv/run/redis_7000.pid
    logfile /data/logs/redis.log
    dir /srv/redis_cluster/7000
    maxmemory 6gb
    
    （2）启动Redis集群：
    
    启动方式与正常启动单节点的命令相似，启动时进入 /opt/redis_cluster/7000的配置文件路径下，下面方式启动一个节点：
    /opt/redis-3.2.1/bin/redis-server  redis.conf
    启动后 /opt/redis_cluster/7000 文件夹下会产生appendonly.aof、nodes.conf，注意这两个文件的产生在启动路径下，所以为了集群的管理，最近进入配置文件夹启动。 
    其他节点的启动方式与上相同，这里不重复了。
    
    当此时，集群的各节点已经启动完成，但当前各节点尚未建立联系，需要命令将他们联合起来作为一个集群工作，进入某一个节点的终端，进入Redis安装路径 redis-3.2.1/src，使用下面命令建立集群：
    
    ./redis-trib.rb create --replicas 1 192.168.1.184:7000 192.168.1.184:7001 192.168.1.208:7002 192.168.1.208:7003 192.168.1.203:7004 192.168.1.203:7005
    
    开始执行：
    >>> Creating cluster
    >>> Performing hash slots allocation on 6 nodes...
    Using 3 masters:
    192.168.1.184:7000
    192.168.1.208:7002
    192.168.1.203:7004
    Adding replica 192.168.1.208:7003 to 192.168.1.184:7000
    Adding replica 192.168.1.184:7001 to 192.168.1.208:7002
    Adding replica 192.168.1.203:7005 to 192.168.1.203:7004
    M: a87b0bd7d01184260ebb79f01ebc8c60108c3786 192.168.1.184:7000
       slots:0-5460 (5461 slots) master
    S: 9623c893341929d1693674ae74c1c76d5d4e58c5 192.168.1.184:7001
       replicates 8b8c315d4cf7a1ba3d68586c9fdbefac6e58d755
    M: 8b8c315d4cf7a1ba3d68586c9fdbefac6e58d755 192.168.1.208:7002
       slots:5461-10922 (5462 slots) master
    S: 0ed40b206f5da1a1caf0c8e90917efeba4074594 192.168.1.208:7003
       replicates a87b0bd7d01184260ebb79f01ebc8c60108c3786
    M: f16d03c9afa777c0aca78867f81c0da155c21ffa 192.168.1.203:7004
       slots:10923-16383 (5461 slots) master
    S: 57f9d16a2d50c55440d47202a2fbfe2901c9f044 192.168.1.203:7005
       replicates f16d03c9afa777c0aca78867f81c0da155c21ffa
    
    提示设置配置信息，选yes回车：
    Can I set the above configuration? (type 'yes' to accept): yes
    >>> Nodes configuration updated
    >>> Assign a different config epoch to each node
    >>> Sending CLUSTER MEET messages to join the cluster
    Waiting for the cluster to join...
    >>> Performing Cluster Check (using node 192.168.1.184:7000)
    M: a87b0bd7d01184260ebb79f01ebc8c60108c3786 192.168.1.184:7000
       slots:0-5460 (5461 slots) master
    M: 9623c893341929d1693674ae74c1c76d5d4e58c5 192.168.1.184:7001
       slots: (0 slots) master
       replicates 8b8c315d4cf7a1ba3d68586c9fdbefac6e58d755
    M: 8b8c315d4cf7a1ba3d68586c9fdbefac6e58d755 192.168.1.208:7002
       slots:5461-10922 (5462 slots) master
    M: 0ed40b206f5da1a1caf0c8e90917efeba4074594 192.168.1.208:7003
       slots: (0 slots) master
       replicates a87b0bd7d01184260ebb79f01ebc8c60108c3786
    M: f16d03c9afa777c0aca78867f81c0da155c21ffa 192.168.1.203:7004
       slots:10923-16383 (5461 slots) master
    M: 57f9d16a2d50c55440d47202a2fbfe2901c9f044 192.168.1.203:7005
       slots: (0 slots) master
       replicates f16d03c9afa777c0aca78867f81c0da155c21ffa
    [OK] All nodes agree about slots configuration.
    >>> Check for open slots...
    >>> Check slots coverage...
    [OK] All 16384 slots covered.
    
    到此Redis集群配置完毕，从上面的日志信息，我们可以看出，集群中每个机器上2个节点，一主一从。
    也可以使用如下命令查看当前Redis集群的状态：
    
    ./redis-trib.rb check  192.168.1.184:7000 
    
    该命令后面接的ip:端口，可以是集群中的任意节点。

参考文档：  
[http://www.linuxidc.com/Linux/2015-08/121845.htm][http_www.linuxidc.com_Linux_2015-08_121845.htm]

2.3、集群应用
    
    可以使用客户端连接集群，进行相关的应用测试，连接方式与单节点的连接方式类似，使用redis-cli客户端工具进行连接，进入redis-cli所在路径，命令如下：
    
    ./redis-cli -c -h 192.168.1.184 -p 7000
    
    其中，-c 代表集群参数，然后进入提示符：
    192.168.1.184:7000>set a b
    -> Redirected to slot [15495] located at 192.168.1.203:7004
    OK
    192.168.1.203:7004> get a
    "b"
    
    当set一个key-value时，会占用集群的一个slot，这个slot是在另一个节点192.168.1.203:7004上建立的，同时提示符切入该节点状态，使用get获取a的value为b；到此说明集群已经开始正常工作了。

参考文档：  
[http://blog.csdn.net/hackerwin7/article/details/43559991][http_blog.csdn.net_hackerwin7_article_details_43559991]

--------------------

3、Redis 集群搭建问题记录

（1）使用redis-trib.rb建立集群关系时问题：
    
    shuzilm@shuzilm:~/Downloads/redis-3.2.1/src$ ./redis-trib.rb create --replicas 1 192.168.1.184:7000 192.168.1.184:7001 192.168.1.203:7002 192.168.1.203:7003 192.168.1.208:7004 192.168.1.208:7005
    /usr/lib/ruby/1.9.1/rubygems/custom_require.rb:36:in `require': cannot load such file -- redis (LoadError)
    
    解决：
    sudo gem install redis
    
    shuzilm@shuzilm:~/Downloads/redis-3.2.1/src$ ./redis-trib.rb create --replicas 1 192.168.1.184:7000 192.168.1.184:7001 192.168.1.203:7002 192.168.1.203:7003 192.168.1.208:7004 192.168.1.208:7005
    >>> Creating cluster
    [ERR] Sorry, can't connect to node 192.168.1.184:7000
    
    解决：
    注意端口对应关系要正确。

[http_blog.csdn.net_yfkiss_article_details_38944179]: http://blog.csdn.net/yfkiss/article/details/38944179
[http_www.cnblogs.com_zhaoguihua_p_redis-005.html]: http://www.cnblogs.com/zhaoguihua/p/redis-005.html
[http_www.linuxidc.com_Linux_2015-08_121845.htm]: http://www.linuxidc.com/Linux/2015-08/121845.htm
[http_blog.csdn.net_hackerwin7_article_details_43559991]: http://blog.csdn.net/hackerwin7/article/details/43559991