Memcached集群/分布式的单点故障

Dear 丶 2022-08-10 11:49 152阅读 0赞

memcached如何处理容错的？  
不处理！:) 在memcached节点失效的情况下，集群没有必要做任何容错处理。如果发生了节点失效，应对的措施完全取决于用户。节点失效时，下面列出几种方案供您选择：  
\* 忽略它！ 在失效节点被恢复或替换之前，还有很多其他节点可以应对节点失效带来的影响。  
\* 把失效的节点从节点列表中移除。做这个操作千万要小心！在默认情况下（余数式哈希算法），客户端添加或移除节点，会导致所有的缓存数据不可用！因为哈希参照的节点列表变化了，大部分key会因为哈希值的改变而被映射到（与原来）不同的节点上。  
\* 启动热备节点，接管失效节点所占用的IP。这样可以防止哈希紊乱（hashing chaos）。  
”  
  同学们，根据上面的说法，memcached其中一个节点失效以后，memcached本身是没有任何策略维持失效转发的，这对于大型系统是一个无法接受的事实。

Memcached分布式每个服务器端本身没有相互相连的关系，数据分布是由客户端来维持的，也可以说Memcached还没有为集群提供真的高可用方案，因为从集群的定义上来说需要满足：1.压力分载 2.失效转发。

在项目组中lianjie.you同学问我如果在分布式中的其中一台Memcached节点down掉了，应该如何解决？我当时愣住了，一时之间还不能给出任何完整的答案。

今早在座公车来上班的路上用手机上网Google了一下，发现原来在网上有很多人与我们有相同的问题，我Google的关键字是“Memcached 单点”  、“Memcached 单点故障”。给出的搜索结果都不算让人满意，我才打算写一篇关于解决集群中Memcached单点故障的文章。Javabloger只向大家提供2种解决思路，暂时不提供具体代码。

现象描述：  
    在客户端连接的部分写入多个服务器端的ip地址，客户端将会自动的把缓存数据分布的放在每个不同的机器上，如图所示：

[![http://www.javabloger.com/images/article\_pic/memcached/masd-1\_s.png][http_www.javabloger.com_images_article_pic_memcached_masd-1_s.png]  
][http_www.javabloger.com_images_article_pic_memcached_masd-1_s.png_http_www.javabloger.com_images_article_pic_memcached_masd-1_s.png_][查看大图请点击这里][http_www.javabloger.com_images_article_pic_memcached_masd-1_s.png_http_www.javabloger.com_images_article_pic_memcached_masd-1_s.png_]

现象后果：  
    如果其中一个缓存节点的机器down机，那么客户端存入的缓存数据将会丢失一部分，就是图中红色字体描述的“Losed 33% Cache Data”，也就是说那部分数据彻底没有了！如果是用户的关键性信息那么就玩大了，如图所示：[![http://www.javabloger.com/images/article\_pic/memcached/masd-2\_s.png][http_www.javabloger.com_images_article_pic_memcached_masd-2_s.png]][http_www.javabloger.com_images_article_pic_memcached_masd-2_s.png_http_www.javabloger.com_images_article_pic_memcached_masd-2_s.png]  
[查看大图请点击这里][http_www.javabloger.com_images_article_pic_memcached_masd-2_s.png_http_www.javabloger.com_images_article_pic_memcached_masd-2_s.png]

解决方案1：本地备份缓存  
    在本地放一份缓存，同时也在分布式Memcached上放一份缓存，如果当其中一台节点当机了，客户端程序直接读取本地的缓存，本地客户端维护一个HashMap即可，这样的方案虽然很简陋，但是可以满足一部分场景的需要，当你很急需的时候可以作为临时方案暂时替代一下。

解决方案2：采用缓存代理服务器  
    采用 [Magent ][Magent]缓存代理，防止单点现象，缓存代理也可以做备份，通过客户端连接到缓存代理服务器，缓存代理服务器连接缓存服务器，缓存代理服务器可以连接多台Memcached机器可以将每台Memcached机器进行数据同步。这样的架构比较完善了，如果其中一台缓存代理服务器down机，系统依然可以继续工作，如果其中一台Memcached机器down掉，数据不会丢失并且可以保证数据的完整性，以上描述的系统架构如图所示：  
[![http://www.javabloger.com/images/article\_pic/memcached/masd-4\_s.png][http_www.javabloger.com_images_article_pic_memcached_masd-4_s.png]][http_www.javabloger.com_images_article_pic_memcached_masd-4_s.png_http_www.javabloger.com_images_article_pic_memcached_masd-4_s.png]

如果重新恢复也是不可行的，猜测原因是当源down掉后会连接备份，当源恢复，连接源，此时无数据，错误！

**\[单点数据重新初始化然后Magen同步更新最新数据，否则就得改写源码将之前当机的数据会写到哈希指定的服务器\]**

**magent是一款开源的memcached代理服务器软件  
地址：**  [**http://code.google.com/p/memagent/**][http_code.google.com_p_memagent]

**安装magent到/usr/local/下**  
cd /usr/local  
mkdir magent  
cd magent/  
wget [http://memagent.googlecode.com/files/magent-0.5.tar.gz][http_memagent.googlecode.com_files_magent-0.5.tar.gz]  
tar zxvf magent-0.5.tar.gz  
/sbin/ldconfig  
sed -i "s/LIBS = -levent/LIBS = -levent -lm/g" Makefile  
make

**magent命令参数：**  
\-h this message  
\-u uid  
\-g gid  
\-p port, default is 11211. (0 to disable tcp support)  
\-s ip:port, set memcached server ip and port  
\-b ip:port, set backup memcached server ip and port  
\-l ip, local bind ip address, default is 0.0.0.0  
\-n number, set max connections, default is 4096  
\-D don't go to background  
\-k use ketama key allocation algorithm  
\-f file, unix socket path to listen on. default is off  
\-i number, max keep alive connections for one memcached server, default is 20  
\-v verbose

**启动magent服务**  
magent -u root -n 4096 -l 127.0.0.1 -p 12000           -s 127.0.0.1:8086            -s 127.0.0.2:8086             -b 127.0.0.1:11213

**magent的hash算法**  
magent采用的是:Consistent Hashing原理,Consistent Hashing如下所示：首先求出memcached服务器（节点）的哈希值， 并将其配置到0～232的圆（continuum）上。 然后用同样的方法求出存储数据的键的哈希值，并映射到圆上。 然后从数据映射到的位置开始顺时针查找，将数据保存到找到的第一个服务器上。 如果超过232仍然找不到服务器，就会保存到第一台memcached服务器上。  
  
从上图的状态中添加一台memcached服务器。余数分布式算法由于保存键的服务器会发生巨大变化 而影响缓存的命中率，但Consistent Hashing中，只有在continuum上增加服务器的地点逆时针方向的 第一台服务器上的键会受到影响。

![memcache集群服务：memagent配置使用 - zhuzhu - 五事九思][memcache_memagent_ - zhuzhu -]

利用magent实现对memecache的分布式管理，搭建一套memcache集群服务

1、前端php对magent的访问跟对memcache访问相同，不需要做任何更改，对于插入的key，magent会把值散列到各个memcache服务上，只操作magent，不用关心后端处理  
2、公司项目应用：南北各10台前端，南北各部署一套magent服务，主要是考虑电信网通的跨网访问  
以北方为例，每个前端安装memcached服务（大内存机器可以启动多个服务），每个前端都安装magent服务，后端挂载全部机器的 memcached服务，启动参数：

**magent -p 12000 -s 127.0.0.1:8086 -s 127.0.0.2:8086 -s 127.0.0.3:8086.......-s 127.0.0.10:8086**

,所有前端配置都是相同的，任何一个前端只需访问本地端口的magent，这样的memcache集群对应用带来很大便利.  
比如项目的基本配置信息，早期策略只能在中控机生成配置文件，同步到各个前端，没有办法把配置信息放到缓存中，因为各个前端的memcache是不共享 的，一台机器缓存更新，其它机器是不更新的，用程序去控制更新，还是存在不稳定因素，而且随着服务增多，也不便于管理，部署了magent后，就可以解决 这个问题，任何一个前端更新数据=全局更新  
这种部署还可以解决的应用：session共享  
  
项目中多处已经实际应用，magent对memcache的均衡和稳定性都非常不错，推荐使用

from:http://hi.baidu.com/zhizhesky/blog/item/277886b118cf1b5a082302f6.html

magent是一款开源的Memcached代理服务器软件，可以用它做一些高可用尝试。  
  
一、安装步骤：  
1、编译安装libevent：  
wget http://monkey.org/~provos/libevent-1.4.9-stable.tar.gz  
tar zxvf libevent-1.4.9-stable.tar.gz  
cd libevent-1.4.9-stable/  
./configure --prefix=/usr  
make && make install  
cd ../  
  
2、编译安装Memcached：  
wget http://danga.com/memcached/dist/memcached-1.2.6.tar.gz  
tar zxvf memcached-1.2.6.tar.gz  
cd memcached-1.2.6/  
./configure --with-libevent=/usr  
make && make install  
cd ../  
  
3、编译安装magent：  
mkdir magent  
cd magent/  
wget http://memagent.googlecode.com/files/magent-0.5.tar.gz  
tar zxvf magent-0.5.tar.gz  
/sbin/ldconfig  
sed -i "s\#LIBS = -levent\#LIBS = -levent -lm\#g" Makefile  
make  
cp magent /usr/bin/magent  
cd ../  
  
二、高可用网络架构

![memcache集群服务：memagent配置使用 - zhuzhu - 五事九思][memcache_memagent_ - zhuzhu - 1]

服务器A                                    服务器B 
 
启动两个memcached进程，端口分别为11211和11212： 
memcached -m 1 -u root -d -l 127.0.0.1 -p 11211 
memcached -m 1 -u root -d -l 127.0.0.1 -p 11212 
 
启动两个magent进程，端口分别为10000和11000： 
magent -u root -n 51200 -l 127.0.0.1 -p 10000 -s 127.0.0.1:11211 -b 127.0.0.1:11212 
magent -u root -n 51200 -l 127.0.0.1 -p 11000 -s 127.0.0.1:11212 -b 127.0.0.1:11211 
\-s 为要写入的memcached， -b 为备份用的memcached。 
说明：测试环境用magent和memached的不同端口来实现，在生产环境中可以将magent和memached作为一组放到两台服务器上。 
 
也就是说通过magent能够写入两个memcached。 
\[root@odb ~\]\# telnet 127.0.0.1 10000 
Trying 127.0.0.1... 
Connected to localhost.localdomain (127.0.0.1). 
Escape character is '^\]'. 
set key 0 0 8                       <---在10000端口设置key的值 
88888888 
STORED 
quit 
Connection closed by foreign host. 
\[root@odb ~\]\# telnet 127.0.0.1 11211 
Trying 127.0.0.1... 
Connected to localhost.localdomain (127.0.0.1). 
Escape character is '^\]'. 
get key                     <---在11211端口获取key的值成功 
VALUE key 0 8 
88888888 
END 
quit 
Connection closed by foreign host. 
\[root@odb ~\]\# telnet 127.0.0.1 11212 
Trying 127.0.0.1... 
Connected to localhost.localdomain (127.0.0.1). 
Escape character is '^\]'. 
get key                     <---在11212端口获取key的值成功 
VALUE key 0 8 
88888888 
END 
quit 
Connection closed by foreign host. 
 
高可用性测试： 
\[root@odb ~\]\# ps aux |grep -v grep |grep memcached 
root     23455  0.0  0.0  5012 1796 ?        Ss   09:22   0:00 memcached -m 1 -u root -d -l 127.0.0.1 -p 11212 
root     24950  0.0  0.0  4120 1800 ?        Ss   10:58   0:00 memcached -m 1 -u root -d -l 127.0.0.1 -p 11211 
\[root@odb ~\]\# ps aux |grep -v grep |grep 'magent -u' 
root     25919  0.0  0.0  2176  484 ?        Ss   12:00   0:00 magent -u root -n 51200 -l 127.0.0.1 -p 10000 -s 127.0.0.1:11211 -b 127.0.0.1:11212 
root     25925  0.0  0.0  3004  484 ?        Ss   12:00   0:00 magent -u root -n 51200 -l 127.0.0.1 -p 11000 -s 127.0.0.1:11212 -b 127.0.0.1:11211 
\[root@odb ~\]\# telnet 127.0.0.1 10000 
Trying 127.0.0.1... 
Connected to localhost.localdomain (127.0.0.1). 
Escape character is '^\]'. 
set stone 0 0 6                      <---在10000端口设置stone的值 
123456 
STORED 
quit 
Connection closed by foreign host. 
\[root@odb ~\]\# telnet 127.0.0.1 11000 
Trying 127.0.0.1... 
Connected to localhost.localdomain (127.0.0.1). 
Escape character is '^\]'. 
set shidl 0 0 6                      <---在11000端口设置shidl的值 
666666 
STORED 
get stone                      <---在11000端口获取stone的值成功 
VALUE stone 0 6 
123456 
END 
incr stone 2                      <---在11000端口修改stone的值成功 
123458 
get stone 
VALUE stone 0 6                     <---在11000端口验证stone的值，证明上面的修改成功 
123458 
END 
get shidl                      <---在11000端口获取shidl的值成功 
VALUE shidl 0 6 
666666 
END 
quit                     <---退出11000端口 
Connection closed by foreign host. 
\[root@odb ~\]\# telnet 127.0.0.1 10000 
Trying 127.0.0.1... 
Connected to localhost.localdomain (127.0.0.1). 
Escape character is '^\]'. 
get stone                      <---在10000端口获取stone的值，已被修改 
VALUE stone 0 6 
123458 
END 
get shidl                      <---在10000端口获取shidl的值成功 
VALUE shidl 0 6 
666666 
END 
delete shidl                      <---在10000端口删除shidl 
DELETED 
get shidl                      <---在10000端口删除shidl生效 
END 
quit 
Connection closed by foreign host. 
\[root@odb ~\]\# telnet 127.0.0.1 11000 
Trying 127.0.0.1... 
Connected to localhost.localdomain (127.0.0.1). 
Escape character is '^\]'. 
get shidl                      <---在11000端口验证删除shidl生效 
END 
get stone                      <---在11000端口获取stone的值成功 
VALUE stone 0 6 
123458 
END 
quit 
Connection closed by foreign host. 
 
Down机模拟测试： 
 
Down掉11211端口的memcached： 
 
\[root@odb ~\]\# kill -9 24950 
\[root@odb ~\]\# telnet 127.0.0.1 10000 
Trying 127.0.0.1... 
Connected to localhost.localdomain (127.0.0.1). 
Escape character is '^\]'. 
get stone                      <---在10000依然可以获取stone的值 
VALUE stone 0 6 
123458 
END 
quit 
Connection closed by foreign host. 
\[root@odb ~\]\# telnet 127.0.0.1 11000 
Trying 127.0.0.1... 
Connected to localhost.localdomain (127.0.0.1). 
Escape character is '^\]'. 
get stone                      <---在11000依然可以获取stone的值 
VALUE stone 0 6 
123458 
END 
quit 
Connection closed by foreign host. 
 
Down掉11000端口的magent： 
 
\[root@odb ~\]\# kill -9 25925 
\[root@odb ~\]\# telnet 127.0.0.1 10000 
Trying 127.0.0.1... 
Connected to localhost.localdomain (127.0.0.1). 
Escape character is '^\]'. 
get stone                      <---在10000依然可以获取stone的值 
VALUE stone 0 6 
123458 
END 
quit 
Connection closed by foreign host

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

**magent使用**

一、Linux环境下安装magent：  
　　1、安装libevent：

2、安装Memcached：

<table style="line-height:28px; border-collapse:collapse"> 
 <tbody> 
 <tr> 
 <td> <code style="line-height:28px">wget&nbsp;http://memcached.googlecode.com/files/memcached-1.4.4.tar.gz tar&nbsp;-xzvf&nbsp;memcached-1.4.4.tar.gz&nbsp; cd&nbsp;memcached-1.4.4 ./configure&nbsp;--prefix=/usr/local/memcached --with-libevent=/usr/local/libevent make make install ln&nbsp;-s&nbsp;/usr/local/libevent/lib/libevent-1.4.so.2 /usr/lib/ </code> </td> 
 </tr> 
 </tbody> 
</table>

3、编译安装magent：

一、使用实例：

1、分别在11211、11212、11213端口启动3个Memcached进程，在12000端口开启magent代理程序；  
　　2、11211、11212端口为主Memcached，11213端口为备份Memcached；  
　　3、连接上12000的magent，set key1和set key2，根据哈希算法，key1被写入11212和11213端口的Memcached，key2被写入11212和11213端口的Memcached；  
　　4、当11211、11212端口的Memcached死掉，连接到12000端口的magent取数据，数据会从11213端口的Memcached取出。

三、整个测试流程：

<table style="line-height:28px; color:rgb(0,0,0); font-family:'Hiragino Sans GB W3','Hiragino Sans GB',Arial,Helvetica,simsun,u5b8bu4f53; font-size:16px; border-collapse:collapse"> 
 <tbody> 
 <tr> 
 <td> <code style="line-height:28px"># telnet 192.168.1.219&nbsp;12000 Trying 1192.168.1.219... Connected to 192.168.1。219. Escape&nbsp;character is&nbsp;'^]'. stats memcached agent v0.4 matrix 1&nbsp;-&gt;&nbsp;192.168.1.219:11211,&nbsp;pool&nbsp;size&nbsp;0 matrix 2&nbsp;-&gt;&nbsp;192.168.1.219:11212,&nbsp;pool&nbsp;size&nbsp;0 END set key1 0 0 5 reesun STORED set key2 0 0 6 reesun1 STORED quit Connection closed by foreign host. #&nbsp;telnet&nbsp;192.168.1.219&nbsp;11211 Trying&nbsp;192.168.1.219... Connected to&nbsp;192.168.1.219. Escape&nbsp;character is&nbsp;'^]'. get key1 END get key2 VALUE key2 0 6 reesun1 END quit Connection closed by foreign host. #&nbsp;telnet&nbsp;192.168.1.219&nbsp;11212 Trying&nbsp;192.168.1.219... Connected to 1192.168.1.219. Escape&nbsp;character is&nbsp;'^]'. get key1 VALUE key1 0 5 reesun END get key2 END quit Connection closed by foreign host. #&nbsp;telnet&nbsp;192.168.1.219&nbsp;11213 Trying&nbsp;192.168.1.219... Connected to 1192.168.1.219. Escape&nbsp;character is&nbsp;'^]'. get key1 VALUE key1 0 5 reesun END get key2 VALUE key2 0 6 reesun1 END quit Connection closed by foreign host. </code> </td> 
 </tr> 
 </tbody> 
</table>

@@@@@@@@@@@@@@@@@@@@@@@@@

### [用magent 为memcached集群][magent _memcached] ###

**文章分类:[综合技术][Link 1]**

magent是一款开源的Memcached代理服务器软件，其项目网址为： [http://code.google.com/p/memagent/][http_code.google.com_p_memagent]   
目前最新版本为0.6   
安装步骤：

Java代码  [![复制代码][icon_copy.gif]][icon_copy.gif 1]  ![收藏代码][icon_star.png]

1.  \# mkdir magent 
2.  \# cp magent-0.6.tar.gz                ./magent

1.  \# cd magent   
2.  \# tar -zvxf magent-0.6.tar.gz   
3.  \# /sbin/ldconfig   
4.  \# sed -i "s/LIBS = -levent/**LIBS = -levent -lm**/g"         Makefile    
5.  
6.  \# make   
7.  \# cp magent /usr/bin/magent

启动magent

Java代码  [![复制代码][icon_copy.gif]][icon_copy.gif 1]  ![收藏代码][icon_star.png]

\# cd /usr/bin

**\# magent -u root -n 51200 -l 127.0.0.1 -p 12000 -s 10.1.1.1:11211 -s 10.1.1.2:11211  **

\-b 10.1.1.3:11211

1.  \-h **this** message   
2.  \-u uid   
3.  \-g gid   
4.  \-p port, **default** is 11211. (0 to disable tcp support)   
5.  \-s ip:port, set memcached server ip and port   
6.  \-b ip:port, set backup memcached server ip and port   
7.  \-l ip, local bind ip address, **default** is 0.0.0.0  
8.  \-n number, set max connections, **default** is 4096  
9.  \-D **do** not go to background   
10. \-k use ketama key allocation algorithm   
11. \-f file, unix socket path to listen on. **default** is off   
12. \-i number, max keep alive connections **for** one memcached server, **default** is 20  
13. \-v verbose

测试安装：

\# telnet  127.0. 0.1  12000 --如果可以访问，表示magent已经运行

1.  或者   
2.  \# netstat -tln  --看12000端口是否被监听

[http_www.javabloger.com_images_article_pic_memcached_masd-1_s.png]: http://www.javabloger.com/images/article_pic/memcached/masd-1_s.png
[http_www.javabloger.com_images_article_pic_memcached_masd-1_s.png_http_www.javabloger.com_images_article_pic_memcached_masd-1_s.png_]: http://www.javabloger.com/images/article_pic/memcached/masd-1.png
[http_www.javabloger.com_images_article_pic_memcached_masd-2_s.png]: http://www.javabloger.com/images/article_pic/memcached/masd-2_s.png
[http_www.javabloger.com_images_article_pic_memcached_masd-2_s.png_http_www.javabloger.com_images_article_pic_memcached_masd-2_s.png]: http://www.javabloger.com/images/article_pic/memcached/masd-2.png
[Magent]: http://code.google.com/p/memagent/wiki/HowMagentWorks
[http_www.javabloger.com_images_article_pic_memcached_masd-4_s.png]: http://www.javabloger.com/images/article_pic/memcached/masd-4_s.png
[http_www.javabloger.com_images_article_pic_memcached_masd-4_s.png_http_www.javabloger.com_images_article_pic_memcached_masd-4_s.png]: http://www.javabloger.com/images/article_pic/memcached/masd-4.png
[http_code.google.com_p_memagent]: http://code.google.com/p/memagent/
[http_memagent.googlecode.com_files_magent-0.5.tar.gz]: http://memagent.googlecode.com/files/magent-0.5.tar.gz
[memcache_memagent_ - zhuzhu -]: http://img.ph.126.net/R34RCmsU0YQuSG2JB-m-yQ==/3198118685387095244.gif
[memcache_memagent_ - zhuzhu - 1]: http://img.ph.126.net/sve-V8VB5VWKkRL5w2D44A==/3369255471227714987.png
[magent _memcached]: http://carvin.iteye.com/blog/825070
[Link 1]: http://www.iteye.com/blogs/category/tech
[icon_copy.gif]: http://carvin.iteye.com/images/icon_copy.gif
[icon_copy.gif 1]: http://carvin.iteye.com/blog/825070#
[icon_star.png]: http://carvin.iteye.com/images/icon_star.png