centos6.5下搭建MySql集群

水深无声 2022-06-14 22:54 99阅读 0赞

环境：

1台pc (i5+8g内存+256固态)

vmware下装三个centos6.5。1个主节点，剩下两个作为数据节点和sql节点

转自：

http://database.51cto.com/art/201505/475376\_all.htm

和

http://www.cnblogs.com/jackluo/archive/2013/01/19/2868152.html

MySQL Cluster 是MySQL 适合于分布式计算环境的高实用、可拓展、高性能、高冗余版本，其研发设计的初衷就是要满足许多行业里的最严酷应用要求，这些应用中经常要求数据库运行的可靠性要达到99.999%。MySQL Cluster允许在无共享的系统中部署“内存中”数据库集群，通过无共享体系结构，系统能够使用廉价的硬件，而且对软硬件无特殊要求。此外，由于每个组件有自己的内存和磁盘，不存在单点故障。

实际上，MySQL集群是把一个叫做NDB的内存集群存储引擎集成与标准的MySQL服务器集成。它包含一组计算机，每个都跑一个或者多个进程，这可能包括一个MySQL服务器，一个数据节点，一个管理服务器和一个专有的一个数据访问程序。

MySQL Cluster能够使用多种故障切换和负载平衡选项配置NDB存储引擎，但在Cluster 级别上的存储引擎上做这个最简单。以下为MySQL集群结构关系图，

[![wKioL1VJrQ7wYrlDAACD9lhwBUI172.jpg][]][wKioL1VJrQ7wYrlDAACD9lhwBUI172.jpg]

MySQL从结构看，由3类节点(计算机或进程)组成，分别是：

管理节点:用于给整个集群其他节点提供配置、管理、仲裁等功能。理论上通过一台服务器提供服务就可以了。

数据节点:MySQL Cluster的核心，存储数据、日志，提供数据的各种管理服务。2个以上 时就能实现集群的高可用保证，DB节点增加时，集群的处理速度会变慢。

SQL节点(API):用于访问MySQL Cluster数据，提供对外应用服务。增加 API 节点会提高整个集群的并发访问速度和整体的吞吐量，该节点 可以部署在Web应用服务器上，也可以部署在专用的服务器上，也开以和DB部署在 同一台服务器上。

NDB引擎

MySQL Cluster 使用了一个专用的基于内存的存储引擎——NDB引擎，这样做的好处是速度快， 没有磁盘I/O的瓶颈，但是由于是基于内存的，所以数据库的规模受系统总内存的限制， 如果运行NDB的MySQL服务器一定要内存够大，比如4G, 8G, 甚至16G。NDB引擎是分布式的，它可以配置在多台服务器上来实现数据的可靠性和扩展性，理论上 通过配置2台NDB的存储节点就能实现整个数据库集群的冗余性和解决单点故障问题。

缺陷

*  基于内存，数据库的规模受集群总内存的大小限制
 *  基于内存，断电后数据可能会有数据丢失，这点还需要通过测试验证。
 *  多个节点通过网络实现通讯和数据同步、查询等操作，因此整体性受网络速度影响，因此速度也比较慢

2.2 优点

*  多个节点之间可以分布在不同的地理位置，因此也是一个实现分布式数据库的方案。
 *  扩展性很好，增加节点即可实现数据库集群的扩展。
 *  冗余性很好，多个节点上都有完整的数据库数据，因此任何一个节点宕机都不会造成服务中断。

实现高可用性的成本比较低，不象传统的高可用方案一样需要共享的存储设备和专用的软件才能实现，NDB 只要有足够的内存就能实现。

本文将搭建一个最简化的MySQL Cluster系统，配置方法中的所有命令都是以root账户运行。这个MySQL Cluster包含一个管理结点、两个数据结点、两个SQL结点，这五个结点会分别安装在五个虚拟机上，虚拟机的名称和IP如下所示：

节点对应的IP和端口管理节点(1个)192.168.1.252SQL节点 (2个)192.168.1.252:3331192.168.1.52:3331数据节点 (2个)192.168.1.252192.168.1.52

<table style="border-collapse:collapse; width:521.25pt">      
 <tbody> 
  <tr> 
   <td style="font-size:11pt; vertical-align:middle; height:14.25pt; width:127.5pt"> 管理节点</td> 
   <td style="font-size:11pt; vertical-align:middle; height:14.25pt; width:155.25pt"> mysql-mgm</td> 
   <td style="font-size:11pt; vertical-align:middle; height:14.25pt; width:238.5pt"> 192.168.202.139</td> 
  </tr> 
  <tr> 
   <td style="font-size:11pt; vertical-align:middle; height:14.25pt; width:127.5pt"> 数据节点</td> 
   <td style="font-size:11pt; vertical-align:middle; height:14.25pt; width:155.25pt"> mysql-ndbd1</td> 
   <td style="font-size:11pt; vertical-align:middle; height:14.25pt; width:238.5pt"> 192.168.202.140</td> 
  </tr> 
  <tr> 
   <td style="font-size:11pt; vertical-align:middle; height:14.25pt; width:127.5pt"> 数据节点</td> 
   <td style="font-size:11pt; vertical-align:middle; height:14.25pt; width:155.25pt"> mysql-ndbd2</td> 
   <td style="font-size:11pt; vertical-align:middle; height:14.25pt; width:238.5pt"> 192.168.202.141</td> 
  </tr> 
  <tr> 
   <td style="font-size:11pt; vertical-align:middle; height:14.25pt; width:127.5pt"> sql节点</td> 
   <td style="font-size:11pt; vertical-align:middle; height:14.25pt; width:155.25pt"> mysql-ndbd1</td> 
   <td style="font-size:11pt; vertical-align:middle; height:14.25pt; width:238.5pt"> 192.168.202.140</td> 
  </tr> 
  <tr> 
   <td style="font-size:11pt; vertical-align:middle; height:14.25pt; width:127.5pt"> sql节点</td> 
   <td style="font-size:11pt; vertical-align:middle; height:14.25pt; width:155.25pt"> mysql-ndbd2</td> 
   <td style="font-size:11pt; vertical-align:middle; height:14.25pt; width:238.5pt"> 192.168.202.141</td> 
  </tr> 
 </tbody> 
</table>

一、公共配置

请在三个虚拟机上分别配置此处的配置项。

1. 安装虚拟机

虚拟机操作系统安装CentOS 6.4的x86\_64版本，使用NAT网络，并且还要安装vmware-tools，具体安装方法此处不详述。

2. 拷贝mysql cluster

下载以下版本的MySQL-Cluster：

http://cdn.mysql.com/Downloads/MySQL-Cluster-7.3/mysql-cluster-gpl-7.3.4-linux-glibc2.5-x86\_64.tar.gz

下载得到的压缩包拷贝至虚拟机的/root/Downloads目录，然后在shell中运行以下命令：

cd /root/Downloads 
        
       tar -xvzf mysql-cluster-gpl-7.3.4-linux-glibc2.5-x86_64.tar.gz 
        
       mv mysql-cluster-gpl-7.3.4-linux-glibc2.5-x86_64 /usr/local/mysql

3. 关闭安全策略

关闭iptables防火墙(或者打开防火墙的1186、3306端口)，在Shell中运行以下命令：

chkconfig --level 35 iptables off

关闭SELinux，在Shell中运行以下命令：

gedit /etc/selinux/config

将config文件中的SELINUX项改为disabled，修改后的config文件的内容如下：

# This file controls the state of SELinux on the system. 
        
       # SELINUX= can take one of these three values: 
        
       # enforcing - SELinux security policy is enforced. 
        
       # permissive - SELinux prints warnings instead of enforcing. 
        
       # disabled - No SELinux policy is loaded. 
        
       SELINUX=disabled 
        
       # SELINUXTYPE= can take one of these two values: 
        
       # targeted - Targeted processes are protected, 
        
       # mls - Multi Level Security protection. 
        
       SELINUXTYPE=targeted

最后重启系统

以上就是三个centos都要执行一遍的。

二、配置管理结点(192.168.124.141)

1. 配置config.ini配置文件

在shell中运行以下命令：

mkdir /var/lib/mysql-cluster 
        
       cd /var/lib/mysql-cluster 
        
       gedit config.ini

配置文件config.ini内容如下：

\[ndbd default\]  
\#TotalSendBufferMemory=256M  
  
  
\#This global parameter can be set only in the \[ndbd default\] section, and defines the number of replicas for each table stored in the cluster.   
\#This parameter also specifies the size of node groups. A node group is a set of nodes all storing the same information.  
NoOfReplicas=2  
  
  
\#指定存放数据的内存段大小 1M - 1024G  
\#DataMemory=80M  
DataMemory=1600M  
  
  
\#制定索引的内存段大小 18M1M - 1T  
\#IndexMemory=18M  
IndexMemory=600M  
  
  
\[TCP DEFAULT\]  
\#数据节点的默认连接端口  
portnumber=2202     
\#在向操作系统发出调用请求之前，TCP传输器采用缓冲来保存所有的消息。当该缓冲达到64KB时，将发送其内容，执行完一组消息循环后，也将发送这些内容。发送缓冲的默认值是256KB。  
SendBufferMemory=16M  
\#指定了从TCP/IP套接字接收数据时所使用的缓冲大小。默认值为64KB.  
ReceiveBufferMemory=16M  
   
\#配置管理节点  
\[ndb\_mgmd\]   
NodeId=1   
hostname=192.168.202.139   
\#管理节点数据(日志)目录   
datadir=/var/lib/mysql-cluster    
   
\#数据节点配置  
\[ndbd\]   
NodeId=2   
hostname=192.168.202.140   
datadir=/usr/local/mysql/data   
\# 出现错误时,该参数指定NDBD进程是退出还是自动重启.  
\# 默认情况下，该特性是启用的(取值: Y/N或1/0)  
StopOnError=0  
\[ndbd\]   
NodeId=3   
hostname=192.168.202.141   
datadir=/usr/local/mysql/data   
\# 出现错误时,该参数指定NDBD进程是退出还是自动重启.  
\# 默认情况下，该特性是启用的(取值: Y/N或1/0)  
StopOnError=0  
\[ndbd\]  
NodeId=6  
Hostname=192.168.202.142   
datadir=/usr/local/mysql/data/  
StopOnError=0  
\[ndbd\]  
NodeId=7  
Hostname=192.168.202.143   
datadir=/usr/local/mysql/data/  
StopOnError=0  
   
\#sql节点配置  
\[mysqld\]   
NodeId=4   
hostname=192.168.202.140   
   
\[mysqld\]   
NodeId=5   
hostname=192.168.202.141   
  
  
  
  
\[MYSQLD\]  
NodeId=8  
\[MYSQLD\]  
NodeId=9

2. 安装管理结点

安装管理节点，不需要mysqld二进制文件，只需要MySQL Cluster服务端程序(ndb\_mgmd)和监听客户端程序(ndb\_mgm)。在shell中运行以下命令：

cp /usr/local/mysql/bin/ndb_mgm* /usr/local/bin 
        
       cd /usr/local/bin 
        
       chmod +x ndb_mgm*

三、配置数据结点(192.168.202.140、192.168.202.141)即(数据节点和SQL节点)

1. 添加mysql组和用户

在shell中运行以下命令：

groupadd mysql 
        
       useradd -g mysql mysql

2. 配置my.cnf配置文件

在shell中运行以下命令：

gedit /etc/my.cnf

配置文件my.cnf的内容如下：

[mysqld]
    basedir=/usr/local/mysql 
     
    datadir=/usr/local/mysql/data 
     
    #socket=/usr/local/mysql/sock/mysql.sock
    
    user=mysql
    # Disabling symbolic-links is recommended to prevent assorted security risks
    symbolic-links=0
    
    #数据节点(需放在[mysqld])下，否则不能启动default_storage_engine=NDBCLUSTER
    ndbcluster   
    ndb-connectstring=192.168.202.139
    
    [mysqld_safe]
    log-error=/var/log/mysqld.log
    pid-file=/var/run/mysqld/mysqld.pid
    
    
    [mysql_cluster] 
    ndb-connectstring=192.168.202.139
    #sql节点

3. 创建系统数据库

在shell中运行以下命令：

cd /usr/local/mysql 
        
       mkdir sock 
        
       scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data 
       #或执行： scripts/mysql_install_db --user=mysql# 我记得我执行这个成功

4. 设置数据目录

在shell中运行以下命令：

chown -R root .  #注意有一点，表示当前目录
        
       chown -R mysql.mysql /usr/local/mysql/data 
        
       chown -R mysql.mysql /usr/local/mysql/sock 
        
       chgrp -R mysql .

5. 配置MySQL服务

在shell中运行以下命令：

cp support-files/mysql.server /etc/rc.d/init.d/ 
        
       
       chmod +x /etc/rc.d/init.d/mysqld chkconfig --add mysqld service mysqld start

五、Cluster环境启动

注意启动顺序：首先是管理节点，然后是数据节点，最后是SQL节点。

1. 启动管理结点

在shell中运行以下命令：

ndb_mgmd -f /var/lib/mysql-cluster/config.ini

还可以使用ndb\_mgm来监听客户端，如下：

同样在bin目录下执行:ndb\_mgm

![Center][]

![Center 1][]

2. 启动数据结点

首次启动，则需要添加--initial参数，以便进行NDB节点的初始化工作。在以后的启动过程中，则是不能添加该参数的，否则ndbd程序会清除在之前建立的所有用于恢复的数据文件和日志文件。

/usr/local/mysql/bin/ndbd --initial

如果不是首次启动，则执行下面的命令。

/usr/local/mysql/bin/ndbd

![Center 2][]

3. 启动SQL结点

若MySQL服务没有运行，则在shell中运行以下命令：

service mysqld start

4. 启动测试

查看管理节点，启动成功

六、集群测试

1. 测试一

现在我们在其中一个SQL结点上进行相关数据库的创建,然后到另外一个SQL结点上看看数据是否同步。

在SQL结点1(192.168.202.140)上执行：

shell> /usr/local/mysql/bin/mysql -u root -p  #初始时不用密码，直接回车
        
       mysql>show databases; 
        
       mysql>create database aa; 
        
       mysql>use aa; 
        
       mysql>CREATE TABLE ctest2 (i INT) ENGINE=NDB; //这里必须指定数据库表的引擎为NDB,否则同步失败 
        
       mysql> INSERT INTO ctest2 () VALUES (1); 
        
       mysql> SELECT * FROM ctest2;

然后在SQL结点2上看数据是否同步过来了

经过测试，在非master上创建数据，可以同步到master上

查看表的引擎是不是NDB，>show create table 表名;

2. 测试二

关闭一个数据节点 ，在另外一个节点写输入，开启关闭的节点，看数据是否同步过来。

首先把数据结点1重启，然后在结点2上添加数据

在SQL结点2(192.168.124.145)上操作如下：

mysql> create database bb; 
        
       mysql> use bb; 
        
       mysql> CREATE TABLE ctest3 (i INT) ENGINE=NDB; 
        
       mysql> use aa; 
        
       mysql> INSERT INTO ctest2 () VALUES (3333); 
        
       mysql> SELECT * FROM ctest2;

等数据结点1启动完毕，启动数据结点1的服务

#/usr/local/mysql/bin/ndbd --initial#service mysqld start

然后登录进去查看数据

# /usr/local/mysql/bin/mysql -u root –p

可以看到数据已经同步过来了，说明数据可以双向同步了。

七、关闭集群

1. 关闭管理节点和数据节点，只需要在管理节点(ClusterMgm--134)里执行：

shell> /usr/local/mysql/bin/ndb_mgm -e shutdown 
      
     
      
      
       
     
      
     
      
      
       管理节点关闭其中一个节点执行如下：# 节点id stop
     
      
     
      
      
       如 ：2 stop

显示

Connected to Management Server at: localhost:1186 
        
       2 NDB Cluster node(s) have shutdown. 
        
       Disconnecting to allow management server to shutdown.

2. 然后关闭Sql节点(135,136)，分别在2个节点里运行：

shell> /etc/init.d/mysql.server stop

Shutting down MySQL... SUCCESS!

注意：要再次启动集群，就按照第五部分的启动步骤即可，不过这次启动数据节点的时候就不要加”-initial”参数了。

若要修改config.ini且让他生效，则需要关闭集群。然后执行：

/usr/local/mysql/bin/ndb\_mgmd -f /usr/local/mysql/mysql-cluster/config.ini --reload         (该语句包含重启语句)

[wKioL1VJrQ7wYrlDAACD9lhwBUI172.jpg]: /images/20220615/b68e8eefd66a460fab9820652907f97e.png
[Center]: /images/20220615/81203a5b28214477ad12ebfe5fc8a7ff.png
[Center 1]: /images/20220615/c89d88a8c5b442c8bc740ac9c549a53c.png
[Center 2]: /images/20220615/31692b81872b4908a2ef1ef0163fc1a3.png