分库分表中间件工具

刺骨的言语ヽ痛彻心扉 2022-06-14 06:36 258阅读 0赞

http://www.jianshu.com/p/b1395b680818

mysql中间件研究，整理互联网上的一些中间件文章
    mysql-proxy是官方提供的mysql中间件产品可以实现负载平衡，读写分离，failover等，但其不支持大数据量的分库分表且性能较差。下面介绍几款能代替其的mysql开源中间件产品，Atlas，cobar，tddl，让我们看看它们各自有些什么优点和新特性吧。

## 1.TDDL Smart Client的方式（淘宝） ##

淘宝根据自己的业务特点开发了TDDL（Taobao Distributed Data Layer 外号:头都大了 ©_Ob）框架，主要解决了分库分表对应用的透明化以及异构数据库之间的数据复制，它是一个基于集中式配置的 jdbc datasource实现，具有主备，读写分离，动态数据库配置等功能。
    TDDL所处的位置（tddl通用数据访问层，部署在客户端的jar包，用于将用户的SQL路由到指定的数据库中）

主要优点：
    1.数据库主备和动态切换
    2.带权重的读写分离
    3.单线程读重试
    4.集中式数据源信息管理和动态变更
    5.剥离的稳定jboss数据源
    6.支持mysql和oracle数据库
    7.基于jdbc规范，很容易扩展支持实现jdbc规范的数据源
    8.无server,client-jar形式存在，应用直连数据库
    9.读写次数,并发度流程控制，动态变更
    10.可分析的日志打印,日志流控，动态变更
    TDDL必须要依赖diamond配置中心（diamond是淘宝内部使用的一个管理持久配置的系统，目前淘宝内部绝大多数系统的配置，由diamond来进行统一管理，同时diamond也已开源）。
    TDDL动态数据源使用示例说明：http://rdc.taobao.com/team/jm/archives/1645
    diamond简介和快速使用：http://jm.taobao.org/tag/diamond%E4%B8%93%E9%A2%98/
    TDDL源码：https://github.com/alibaba/tb_tddl 
    TDDL复杂度相对较高。当前公布的文档较少，只开源动态数据源，分表分库部分还未开源，还需要依赖diamond，不推荐使用。
    终其所有，我们研究中间件的目的是使数据库实现性能的提高。具体使用哪种还要经过深入的研究，严谨的测试才可决定

## 2. Atlas(Qihoo 360) ##

Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。360内部使用Atlas运行的mysql业务，每天承载的读写请求数达几十亿条。
    Altas架构：
    Atlas是一个位于应用程序与MySQL之间，它实现了MySQL的客户端与服务端协议，作为服务端与应用程序通讯，同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节，同时为了降低MySQL负担，它还维护了连接池。

Altas的一些新特性：
    1.主库宕机不影响读
    主库宕机，Atlas自动将宕机的主库摘除，写操作会失败，读操作不受影响。从库宕机，Atlas自动将宕机的从库摘除，对应用没有影响。在mysql官方的proxy中主库宕机，从库亦不可用。
    2.通过管理接口，简化管理工作，DB的上下线对应用完全透明，同时可以手动上下线。
    3.自己实现读写分离
    （1）为了解决读写分离存在写完马上就想读而这时可能存在主从同步延迟的情况，Altas中可以在SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。
    （2）如图2中，主库可设置多项，用逗号分隔，从库可设置多项和权重，达到负载均衡。
    4.自己实现分表
    （1）需带有分表字段。
    （2）支持SELECT、INSERT、UPDATE、DELETE、REPLACE语句。
    （3）支持多个子表查询结果的合并和排序。
    5.之前官方主要功能逻辑由使用lua脚本编写，效率低，Atlas用C改写，QPS提高，latency降低。
    6.安全方面的提升
    （1）通过配置文件中的pwds参数进行连接Atlas的用户的权限控制。
    （2）通过client-ips参数对有权限连接Atlas的ip进行过滤。
    （3）日志中记录所有通过Altas处理的SQL语句，包括客户端IP、实际执行该语句的DB、执行成功与否、执行所耗费的时间 
    7.平滑重启
     通过配置文件中设置lvs-ips参数实现平滑重启功能，否则重启Altas的瞬间那些SQL请求都会失败。该参数前面挂接的lvs的物理网卡的ip，注意不是虚ip。平滑重启的条件是至少有两台配置相同的Atlas且挂在lvs之后

地址：https://github.com/Qihoo360/Atlas

## 3.heisenberg(百度) ##

强大好用的mysql分库分表中间件,来自百度
    其优点： 分库分表与应用脱离，分库表如同使用单库表一样 减少db 连接数压力 热重启配置 可水平扩容 遵守Mysql原生协议 读写分离 无语言限制，mysqlclient,c,java等都可以使用 Heisenberg服务器通过管理命令可以查看，如连接数，线程池，结点等，并可以调整 采用velocity的分库分表脚本进行自定义分库表，相当的灵活
    qq群：150720285 邮箱:brucest0078@gmail.com

网址：https://github.com/songwie/heisenberg

## 4.alibaba.cobar(是阿里巴巴（B2B）部门开发) ##

Cobar是阿里巴巴（B2B）部门开发的一种关系型数据的分布式处理系统，它可以在分布式的环境下看上去像传统数据库一样为您提供海量数据服务。那么具体说说我们为什么要用它，或说cobar--能干什么？以下是我们业务运行中会存在的一些问题：
    1.随着业务的进行数据库的数据量和访问量的剧增，需要对数据进行水平拆分来降低单库的压力，而且需要高效且相对透明的来屏蔽掉水平拆分的细节。
    2.为提高访问的可用性，数据源需要备份。
    3.数据源可用性的检测和failover。
    4.前台的高并发造成后台数据库连接数过多，降低了性能，怎么解决。 
    针对以上问题就有了cobar施展自己的空间了，cobar中间件以proxy的形式位于前台应用和实际数据库之间，对前台的开放的接口是mysql通信协议。将前台SQL语句变更并按照数据分布规则转发到合适的后台数据分库，再合并返回结果，模拟单库下的数据库行为。

1.通过Cobar提供一个名为test的数据库，其中包含t1,t2两张表。后台有3个MySQL实例(ip:port)为其提供服务，分别为：A,B,C。
    2.期望t1表的数据放置在实例A中，t2表的数据水平拆成四份并在实例B和C中各自放两份。t2表的数据要具备HA功能，即B或者C实例其中一个出现故障，不影响使用且可提供完整的数据服务。
    cabar优点总结：
    1.数据和访问从集中式改变为分布：
    （1）Cobar支持将一张表水平拆分成多份分别放入不同的库来实现表的水平拆分
    （2）Cobar也支持将不同的表放入不同的库
    （3） 多数情况下，用户会将以上两种方式混合使用
    注意！：Cobar不支持将一张表，例如test表拆分成test_1,test_2, test_3.....放在同一个库中，必须将拆分后的表分别放入不同的库来实现分布式。
    2.解决连接数过大的问题。
    3.对业务代码侵入性少。
    4.提供数据节点的failover,HA：
    (1)Cobar的主备切换有两种触发方式，一种是用户手动触发，一种是Cobar的心跳语句检测到异常后自动触发。那么，当心跳检测到主机异常，切换到备机，如果主机恢复了，需要用户手动切回主机工作，Cobar不会在主机恢复时自动切换回主机，除非备机的心跳也返回异常。
    (2)Cobar只检查MySQL主备异常，不关心主备之间的数据同步，因此用户需要在使用Cobar之前在MySQL主备上配置双向同步。
    cobar缺点：
    开源版本中数据库只支持mysql，并且不支持读写分离。

网址：https://github.com/alibaba/cobar

## 5.MyCAT（基于阿里开源的Cobar产品而研发） ##

什么是MYCAT

一个彻底开源的，面向企业应用开发的大数据库集群
    支持事务、ACID、可以替代MySQL的加强版数据库
    一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群
    一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server
    结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
    一个新颖的数据库中间件产品

关键特性

支持SQL92标准
    支持MySQL、Oracle、DB2、SQL Server、PostgreSQL等DB的常见SQL语法
    遵守Mysql原生协议，跨语言，跨平台，跨数据库的通用中间件代理。
    基于心跳的自动故障切换，支持读写分离，支持MySQL主从，以及galera cluster集群。
    支持Galera for MySQL集群，Percona Cluster或者MariaDB cluster
    基于Nio实现，有效管理线程，解决高并发问题。
    支持数据的多片自动路由与聚合，支持sum,count,max等常用的聚合函数,支持跨库分页。
    支持单库内部任意join，支持跨库2表join，甚至基于caltlet的多表join。
    支持通过全局表，ER关系的分片策略，实现了高效的多表join查询。
    支持多租户方案。
    支持分布式事务（弱xa）。
    支持XA分布式事务（1.6.5）。
    支持全局序列号，解决分布式下的主键生成问题。
    分片规则丰富，插件化开发，易于扩展。
    强大的web，命令行监控。
    支持前端作为MySQL通用代理，后端JDBC方式支持Oracle、DB2、SQL Server 、 mongodb 、巨杉。
    支持密码加密
    支持服务降级
    支持IP白名单
    支持SQL黑名单、sql注入攻击拦截
    支持prepare预编译指令（1.6）
    支持非堆内存(Direct Memory)聚合计算（1.6）
    支持PostgreSQL的native协议（1.6）
    支持mysql和oracle存储过程，out参数、多结果集返回（1.6）
    支持zookeeper协调主从切换、zk序列、配置zk化（1.6）
    支持库内分表（1.6）
    集群基于ZooKeeper管理，在线升级，扩容，智能优化，大数据处理（2.0开发版）。

MYCAT监控

支持对Mycat、Mysql性能监控
    支持对Mycat的JVM内存提供监控服务
    支持对线程的监控
    支持对操作系统的CPU、内存、磁盘、网络的监控

网址：http://www.mycat.org.cn/

## 6.Oceanus(58同城数据库中间件) ##

Oceanus致力于打造一个功能简单、可依赖、易于上手、易于扩展、易于集成的解决方案，甚至是平台化系统。拥抱开源，提供各类插件机制集成其他开源项目，新手可以在几分钟内上手编程，分库分表逻辑不再与业务紧密耦合，扩容有标准模式，减少意外错误的发生。
    
    Oceanus内部名词定义
    datanode：数据源节点。为一个数据源命名，配置链接属性、报警实现
    namenode：数据源的簇。为一组数据源命名，指定这组数据源的负载方式、访问模式、权重
    table：映射表。匹配解析sql中的table名称，命中table标签的name属性值后，会执行约定的路由逻辑
    bean：实体。由其他标签引用，实体类必须有无参的构造函数
    tracker：监控埋点。涉及到计算和IO的功能点都有监控点，自定义一个埋点实现类，当功能耗时超出预期时会执行其中的回调函数，便于监控和优化系统

网址：https://github.com/58code/Oceanus

## 7.OneProxy（原支付宝首席架构师楼方鑫开发，） ##

OneProxy是由原支付宝首席架构师楼方鑫开发，目前由楼方鑫创立的杭州平民软件公司（@平民架构）提供技术支持。它保留了MySQL-Proxy 0.8.4官方版本上其协议处理和软件框架，然后对软件做了大量优化，极大增强了系统的并发能力。目前已有多家公司在生成环境中使用，其中包括了支付、电商等行业。 
    OneProxy的主要功能有：
    1. 垂直分库
    2. 水平分表
    3. Proxy集群【暂无文档】
    4. 读高可用
    5. 读写分离（master不参与读）
    6. 读写分离（master参与读）
    7. 写高可用
    8. 读写随机
    9. SQL检查
    10. SQL统计【暂无文档】
    11. 任务队列监控【暂无文档】
    12. 连接池管理【暂无文档】

网址：http://www.cnblogs.com/youge-OneSQL/articles/4208583.html

## 8.vitess（谷歌开发的数据库中间件） ##

谷歌开发的数据库中间件，集群基于ZooKeeper管理，通过RPC方式进行数据处理，总体分为，server，command line，gui监控 3部分。

网址：https://github.com/youtube/vitess

## 9.TSharding(蘑菇街白辉) ##

把这个组件应用到交易的数据库，在服务层和DAO层，订单容量扩展到千亿量级，并且可以继续水平扩展。TSharding上线一年之后，我们将其开放出来。借鉴了Mybatis Plugin的方式

网址：https://github.com/baihui212/tsharding