Atlas数据库中间件实操

迷南。 2022-05-16 07:29 277阅读 0赞

# 介绍 #

Atlas是由 奇虎360,Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上，修改了大量bug，添加了很多功能特性。目前该项目在360公司内部得到了广泛应用，很多MySQL业务已经接入了Atlas平台，每天承载的读写请求数达几十亿条。Atlas是一个位于应用程序与MySQL之间中间件。在后端DB看来，Atlas相当于连接它的客户端，在前端应用看来，Atlas相当于一个DB。Atlas作为服务端与应用程序通讯，它实现了MySQL的客户端和服务端协议，同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节，同时为了降低MySQL负担，它还维护了连接池。

## 整体架构 ##

Atlas的整体架构，可参考下图：  
![这里写图片描述][SouthEast]

![这里写图片描述][SouthEast 1]

## 功能与特点 ##

\*支持多字符集  
\*支持事务操作 ，如事务状态的客户端中途退出时，Atlas会销毁该客户端使用的连接，让后台的mysql回滚事务，保证了事务的完整性。  
\*支持单条SQL语句强制读取写库，非常适用于有时候完马上就想读 的情况  
\*IP过滤  
\*读写分离  
\*从库负载均衡  
\*SQL语句黑白名单

## 好处 ##

\*在不影响各应用代码的前提下即可实现数据库的读写分离。数据库代理服务Altas对各应用而言就是一个MYSQL数据库。各应用代码不需要作特别的改动。  
\*即使主库宕机，不影响网站打开读操作 。检测线程也是异步进行检测的，即使有db宕机，也不会阻塞主流程。 这意味着数据库集群中从库某节点宕机也不影响其它节点工作。  
\*下线检修数据库集群中某一从库节点，不需要关停网站的数据库服务。  
\*数据库集群中增加一数据库服务器也不需要关停网站数据库服务。  
\*可实现数据库读操作的负载均衡，提升网站响应速度。

## 需要知道事项 ##

\*Atlas会将事务请求都发向主库。 如果事物请求仅仅是读取数据，那么Atlas不会判别读写分离。  
*MYSQL数据库集群中主从同步时是需要一定时间的，尽管这个时间是毫秒级，但也不能保证在主库写完，立马就能在从库中读取到数据，在高并发、大流量写操作的时候，主库压力大的情况下尤为突出。在写完数据后想要立即读取数据时，在SQL语句前添加SQl注释 ‘/\*master*/’ 即可强制将读操作指定为写的数据库（主库）例如:

// 原代码
    String sql="SELECT LAST_INSERT_ID()";
    // 修改为
    String sql="/*master*/SELECT LAST_INSERT_ID()";

\*连接JDBC的语句将各参数间的转义符去掉，直接使用&符即可。例如：

jdbc.url=jdbc:mysql://xx.xx.xx.xx:3306/user_db?useUnicode=true&characterEncoding=utf-8&autoReconnect=true

# 如上所示将&换成&即可。否则可出现连接数据时插入乱码的情况。 #

\*考虑到数据安全，Atlas会屏蔽不带where条件的delete和update操作，以及sleep函数。

# 安装 #

官方提供了RPM包，直接安装即可。配置文件位于/usr/local/mysql-proxy/conf/

# 启动 #

进入/usr/local/mysql-proxy/bin目录，执行下面的命令启动、重启或停止Atlas。  
./mysql-proxyd test start， 启动Atlas。  
./mysql-proxyd test restart，重启Atlas。  
./mysql-proxyd test stop， 停止Atlas。  
检查运行状态  
ps -ef | grep mysql-proxy

> 运行文件是：mysql-proxyd,而不是mysql-proxy  
> test是conf目录下配置文件的名字，也是配置文件里instance项的名字，要统一

# 维护 #

backend\_id is backend\_ndx’s id |  
| SET ONLINE backendid|onlinebackendserver,…||ADDMASTERbackend | example: “add master 127.0.0.1:3306”, … |  
| ADD SLAVE backend|example:“addslave127.0.0.1:3306”,…||REMOVEBACKENDbackend\_id | example: “remove backend 1”, … |  
| SELECT \* FROM clients | lists the clients |  
| ADD CLIENT client|example:“addclient192.168.1.2”,…||REMOVECLIENTclient | example: “remove client 192.168.1.2”, … |  
| SELECT \* FROM pwds | lists the pwds |  
| ADD PWD pwd|example:“addpwduser:rawpassword”,…||ADDENPWD

> 主从DB的用户名和密码要一致

# init脚本 #

#!/bin/sh
    #
    #atlas:    Atlas Daemon
    #
    # chkconfig:    - 90 25
    # description:  Atlas Daemon
    #
    # Source function library.
    start()
    {
            echo -n $"Starting atlas: "
            /usr/local/mysql-proxy/bin/mysql-proxyd database start
            echo 
    }
    stop()
    {
            echo -n $"Shutting down atlas: "
            /usr/local/mysql-proxy/bin/mysql-proxyd database stop
            echo
    }
    ATLAS="/usr/local/mysql-proxy/bin/mysql-proxyd"
    [ -f $ATLAS ] || exit 1
    # See how we were called.
    case "$1" in
            start)
                    start
                    ;;
            stop)
                    stop
                    ;;
            restart)
                    stop
                    sleep 3
                    start
                    ;;
            *)
                    echo $"Usage: $0 {start|stop|restart}"
                    exit 1
    esac
    exit 0

# 配置示例 #

#带#号的为非必需的配置项目
    
    #管理接口的用户名
    admin-username=usrname
    
    #管理接口的密码
    admin-password=password
    
    #Atlas后端连接的MySQL主库的IP和端口，可设置多项，用逗号分隔
    proxy-backend-addresses=192.168.1.200:3306
    
    #Atlas后端连接的MySQL从库的IP和端口，@后面的数字代表权重，用来作负载均衡，若省略则默认为1，可设置多项，用逗号分隔
    proxy-read-only-backend-addresses = 192.168.1.201:3306@2,192.168.1.202:3306@1
    
    #用户名与其对应的加密过的MySQL密码，密码使用PREFIX/bin目录下的加密程序encrypt加密，下行的user1和user2为示例，将其替换为你的MySQL的用户名和加密密码！
    pwds=username:encrypt(password)
    
    #设置Atlas的运行方式，设为true时为守护进程方式，设为false时为前台方式，一般开发调试时设为false，线上运行时设为true,true后面不能有空格。
    daemon=true
    
    #设置Atlas的运行方式，设为true时Atlas会启动两个进程，一个为monitor，一个为worker，monitor在worker意外退出后会自动将其重启，设为false时只有worker，没有monitor，一般开发调试时设为false，线上运行>时设为true,true后面不能有空格。
    keepalive=true
    
    #工作线程数，对Atlas的性能有很大影响，可根据情况适当设置
    event-threads=4
    
    #日志级别，分为message、warning、critical、error、debug五个级别
    log-level=message
    
    #日志存放的路径
    log-path=/var/logs/mysql-proxy
    
    #SQL日志的开关，可设置为OFF、ON、REALTIME，OFF代表不记录SQL日志，ON代表记录SQL日志，REALTIME代表记录SQL日志且实时写入磁盘，默认为OFF
    #sql-log = OFF
    
    #慢日志输出设置。当设置了该参数时，则日志只输出执行时间超过sql-log-slow（单位：ms)的日志记录。不设置该参数则输出全部日志。
    #sql-log-slow = 10
    
    #实例名称，用于同一台机器上多个Atlas实例间的区分
    #instance = database
    
    #Atlas监听的工作接口IP和端口
    proxy-address=127.0.0.1:3301
    
    #Atlas监听的管理接口IP和端口
    admin-address=127.0.0.1:3302
    
    #分表设置，此例中person为库名，mt为表名，id为分表字段，3为子表数量，可设置多项，以逗号分隔，若不分表则不需要设置该项
    #tables = person.mt.id.3
    
    #默认字符集，设置该项后客户端不再需要执行SET NAMES语句
    #charset = utf8
    
    #允许连接Atlas的客户端的IP，可以是精确IP，也可以是IP段，以逗号分隔，若不设置该项则允许所有IP连接，否则只允许列表中的IP连接
    client-ips=127.0.0.1,192.168.1.201,192.168.1.202
    
    #Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP)，若有LVS且设置了client-ips则此项必须设置，否则可以不设置
    #lvs-ips = 192.168.1.1

[SouthEast]: /images/20220516/a2539591df8d4f96879030eeb94553f3.png
[SouthEast 1]: /images/20220516/e9ca043ce1244121af5886b5ede70225.png