一步一图搭建-分布式服务器部署之mysql集群-使用amoeba整合mysql实现读写分离

妖狐艹你老母 2022-06-06 08:25 128阅读 0赞

### 数据库的读写分离 ###

说明:  
由于数据库没有优化,会导致主数据库的压力较大.  
策略:  
如果是读的操作,都访问从数据库.  
如果是写的操作.都访问主数据库.

### 介绍: ###

Amoeba是一个以MySQL为底层数据存储，并对应用提供MySQL协议接口的proxy。它集中地响应应用的请求，依据用户事先设置的规则，将SQL请求发送到特定的数据库上执行。基于此可以实现负载均衡、读写分离、高可用性等需求。与MySQL官方的MySQL Proxy相比，作者强调的是amoeba配置的方便（基于XML的配置文件，用SQLJEP语法书写规则，比基于lua脚本的MySQL Proxy简单）。  
Amoeba相当于一个SQL请求的路由器，目的是为负载均衡、读写分离、高可用性提供机制，而不是完全实现它们。用户需要结合使用MySQL的 Replication等机制来实现副本同步等功能。amoeba对底层数据库连接管理和路由实现也采用了可插拨的机制，第三方可以开发更高级的策略类来替代作者的实现。这个程序总体上比较符合KISS原则的思想。  
优势  
Amoeba主要解决以下问题：  
a). 数据切分后复杂数据源整合  
b). 提供数据切分规则并降低数据切分规则给数据库带来的影响  
c). 降低数据库与客户端连接  
d). 读写分离路由

通过Amoeba实现读写分离

本篇是上篇 [mysql集群主从复制][mysql]的续篇 前面给大家讲到主从复制，给啦数据库安全一个备份保障。但真正的使用环境下。查数据远远比写数据或修改数据的操作多得多；马云也说过每小时有一千万的用户在淘宝上只看不买。包括我也是。根据这个业务场景我们就可以做一些优化操作，但用户查看时，把流量导向一部分专门提供查看的数据库集群，当用户执行下单等写操作时，把流量导入另外一些服务器集群，这样实现读写分离，抗住高并发，实现高可用。打造更加强大、更加强健、更加安全的数据库集群。

### 安装: ###

1.需要依赖JDK

![这里写图片描述][SouthEast]  
jdk的配置网上有一大堆，我就不多赘述啦。  
[下载amoeba软件][amoeba]，上传到服务器中，上面讲的要用三台服务器，一台主服务器，一台从服务器，另外一台就是amoeba管理服务器啦

![dfd述][dfd]

解压软件：  
![这里写图片描述][SouthEast 1]  
将软件移到相应的位置（这里主要是为啦以后便于管理 非必需操作）  
![这里写图片描述][SouthEast 2]  
进入amoeba目录：  
这里主要配置二个地方即可，我们先从conf目录下配置：

![这里写图片描述][SouthEast 3]  
在conf，=目录下只需要配置两个文件：dbServers.xml amoeba.xml  
![这里写图片描述][SouthEast 4]  
dbServers.xml 主要配置amoeba连接需要管理的mysql集群 配置如下：

<?xml version="1.0" encoding="gbk"?>
    
    <!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd">
    <amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/">
    
    <dbServer name="abstractServer" abstractive="true">
    <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
        <property name="connectionManager">${defaultManager}</property>
            <property name="sendBufferSize">64</property>
            <property name="receiveBufferSize">128</property>
            
            <property name="port">3306</property>
            
            <property name="schema">test</property>
            
            <property name="user"><!-数据库用户名--></property>
            <property name="password"></property>
    </factoryConfig>
    
    <poolConfig class="com.meidusa.toolkit.common.poolable.PoolableObjectPool">
        <property name="maxActive">500</property>
        <property name="maxIdle">500</property>
        <property name="minIdle">1</property>
        <property name="minEvictableIdleTimeMillis">600000</property>
        <property name="timeBetweenEvictionRunsMillis">600000</property>
        <property name="testOnBorrow">true</property>
        <property name="testOnReturn">true</property>
        <property name="testWhileIdle">true</property>
    </poolConfig>
    </dbServer>
    
    <dbServer name="master" parent="abstractServer">
        <factoryConfig>
            
            <property name="ipAddress"></property>
        </factoryConfig>
    </dbServer>
    
    <dbServer name="slave01" parent="abstractServer">
        <factoryConfig>
            
            <property name="ipAddress"></property>
        </factoryConfig>
    </dbServer>
    
    <dbServer name="multiPool" virtual="true">
        <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
            
            <property name="loadbalance">1</property>       
            
            <property name="poolNames">slave01,master,slave01</property>
        </poolConfig>
    </dbServer>
    
    </amoeba:dbServers>

amoeba.xml 主要配置amoeba连接与与数据库的读写权限分配：

<?xml version="1.0" encoding="gbk"?>
    <!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">
    <amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">
        <proxy>
            
            <service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService">
                
                <property name="port">8066</property>
                <property name="connectionFactory">
                    <bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory">
                        <property name="sendBufferSize">128</property>
                        <property name="receiveBufferSize">64</property>
                    </bean>
                </property>
                <property name="authenticateProvider">
                    <bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">
                        
                        <property name="user">root</property>
                        <property name="password">root</property>
                        <property name="filter">
                            <bean class="com.meidusa.toolkit.net.authenticate.server.IPAccessController">
                                <property name="ipFile">${amoeba.home}/conf/access_list.conf</property>
                            </bean>
                        </property>
                    </bean>
                </property>
    
            </service>
            <runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext">
                
                <property name="executeThreadSize">128</property>
                
                <property name="statementCacheSize">500</property>
                
                <property name="queryTimeout">60</property>
            </runtime>
        </proxy>
        
        <connectionManagerList>
            <connectionManager name="defaultManager" class="com.meidusa.toolkit.net.MultiConnectionManagerWrapper">
                <property name="subManagerClassName">com.meidusa.toolkit.net.AuthingableConnectionManager</property>
            </connectionManager>
        </connectionManagerList>
    
            
        <dbServerLoader class="com.meidusa.amoeba.context.DBServerConfigFileLoader">
            <property name="configFile">${amoeba.home}/conf/dbServers.xml</property>
        </dbServerLoader>
    
        <queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
            <property name="ruleLoader">
                <bean class="com.meidusa.amoeba.route.TableRuleFileLoader">
                    <property name="ruleFile">${amoeba.home}/conf/rule.xml</property>
                    <property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>
                </bean>
            </property>
            <property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>
            <property name="LRUMapSize">1500</property>
            <property name="defaultPool">master</property>
    
            
            <property name="writePool">master</property>
            
            <property name="readPool">multiPool</property>
    
            <property name="needParse">true</property>
        </queryRouter>
    </amoeba:configuration>

由于所有的读写操作都需要通过amoeba来进行中转，所以amoeba所需要的运行空间需要更大，这里是加大amoeba的运行资源：  
![这里写图片描述][SouthEast 5]  
jvm.properties

# app名字
    APP_NAME=Amoeba-MySQL
    
    # app版本号
    APP_VERSION=3.0.0-beta
    
    # 日志输出路径，log4j中可引用参数 ${project.output}
    
    APP_OUTPUT_PATH=$PROJECT_HOME/logs
    
    # 应用程序的PID文件存放路径, 默认存放在: ${project.home}/${APP_NAME}.pid
    
    #APP_PID_PATH=/temp/logs/$APP_NAME
    
    
    # 控制台输出到日志文件
    
    APP_CONSOLE_LOG=$APP_OUTPUT_PATH/console.log
    
    
    # 程序相关的配置参数
    
    #APP_OPTIONS="-DmyParam=value1 -DmyParam2=value2"
    
    # 启动参数 
    
    #APP_ARGS="args0 "
    
    
    # JVM相关的参数，包括内存配置、垃圾回收策略
    
    JVM_OPTIONS="-server -Xms512m -Xmx1024m -Xss512k -XX:PermSize=16m -XX:MaxPermSize=96m"
    
    
    # 应用程序忽略的信号列表，以逗号分割，程序shutdown的信号为15（可用 kill -15 pid 可让程序文明的shutdown，请不要在这儿填15）
    
    IGNORE_SIGNALS=1,2

配置好后 cd ../bin 进入bin目录下 运行amoeba：  
![这里写图片描述][SouthEast 6]

amoeba运行在8066端口：  
![这里写图片描述][SouthEast 7]  
测试配置的amoeba，这时我们的程序就可以直接连amoeba 再由amoeba智能中转到数据库中，这里的amoeba就相当于一个主服务器的代理服务器，这里我们用sqLyog数据库连接工具来代替程序连接：

![这里写图片描述][SouthEast 8]  
如果连接不上最有可能的情况就是系统的防火墙啦，把8066端口放出来：  
![这里写图片描述][SouthEast 9]  
[这篇博客写的linux防火墙相关的命令十分详细，亲测有效][linux]

如果上面提到的都配置成功啦接下来就可以看到神奇的事情啦  
![这里写图片描述][SouthEast 10]  
amoeba中跟之前主服务器中的数据库完全一样，现在直接对amoeba进行操作就相当于操作啦主服务器，因为主服务器主要担任写操作，主服务器执行写操作后，从服务器会实时把主服务器上的数据同步下来；查服务由从服务器承担。这样就实现啦数据库的读写分离。这里只是拿两台数据库服务器做例子，在实际的运营中可以使用集群来操作。这样的服务器强度将会更加强大。

[mysql]: http://blog.csdn.net/qq_23184291/article/details/78437816
[SouthEast]: /images/20220606/6912c69df04d4ca88be0380bceafd4f1.png
[amoeba]: http://download.csdn.net/download/qq_23184291/10103067
[dfd]: /images/20220606/2c3cf98e0e804338a4470355229cf12f.png
[SouthEast 1]: /images/20220606/43e5fbd30fa640b0b6784aee1e5a81de.png
[SouthEast 2]: /images/20220606/8b47e7ed34d642d4a87618af626c6a1d.png
[SouthEast 3]: /images/20220606/65a59ab05cde4582a85f5866e583733e.png
[SouthEast 4]: /images/20220606/6d0192a46c6e44f7a18d25df0d51c722.png
[SouthEast 5]: /images/20220606/d3632db227214e14ad391c43ecb4eda2.png
[SouthEast 6]: /images/20220606/3065a6026d4b4cff830fd70d8d58b3d9.png
[SouthEast 7]: /images/20220606/7d21742d9c4c483fa7e76d5db6adcf31.png
[SouthEast 8]: /images/20220606/74e11da5ba9b4cc0b81aa158dabedc79.png
[SouthEast 9]: /images/20220606/3a40c8fdfdab4230989613677fadf697.png
[linux]: http://blog.csdn.net/csdn_lqr/article/details/53885808
[SouthEast 10]: /images/20220606/a41cf6d1f8134f3eb44e25af47841b85.png