中间件-数据访问层

浅浅的花香味﹌ 2022-08-10 05:53 174阅读 0赞

单机情况下数据库在不同语言，不同平台都有各自数据库访问组件，各种类似odbc、jdbc的封装以及orm的处理都已经相当成熟。

数据库压力越来越大，处理方法是优化应用，减少压力。二是对数据库进行读写分离，加入搜索引擎和缓存等，进而采用拆分的方法

垂直拆分（业务逻辑拆分）

单机acid受影响，要么放弃事物，要么引入分布式事物

join操作受影响，因为在两个库中了

靠外键进行约束的场景会收到影响

水平拆分

前三条和垂直拆分一样

依赖单库的自增序列生成唯一id受影响

单个逻辑意义上的表查询要跨库

上述只是部分影响，其它例如存储过程，触发器等都需要改写才能完成相应的工作

x/open组织，现在的the open group指定的分布式事物规范

分布式事物规范：XA

分布式事物处理模型：DTP，它由三个组件，ap应用程序，rm资源管理器，tm事物管理器

事物管理器向事物指定标识，监控进程，负责事物的完成和失败。事物分支标识xid，两阶段回滚需要用到xid

ap可以通过native api调用rm，不实现事物支持，也可以通过xa api进行事物调用，ap和事物管理器通过tx接口，tm和rm通过xa接口访问

可以选择是否实现两阶段提交，两阶段提交之间有准备过程，tm可以根据日志回滚，但是由于tm的自身稳定性，网络问题，以及两阶段带来的交互次数增多以及引入tm的开销，可以考虑是否开启两阶段提交

大型网站一致性理论基础：cap

c: consistency 数据写入成功后所有的节点都会同时看到这个新数据

a:无论成功还是失败都要有响应

p：部分失效无论系统还是数据的时候系统还能正常云状

但是cap不能兼得，要有取舍，ca放弃p这正是单机数据库的选择，ap放弃c这正式很多分布式系统的选择nosql系统就是这样

一般的外面都是首先满足ap最后追求c

这就是所谓base模型

basically available：基本可用允许分区失败

soft state：软状态，允许一段时间的数据不统一

eventually consistency：最终一致

比两阶段提交更加轻量级的paxos协议

paxos的前提是不能有拜占庭将军问题

集群内数据一致性的算法：quorum和 vector clock

第二种在同一份数据的每一次修改后面加上修改者和时间戳，因为比如四个人聚餐的问题，a说周一，b和c商量说周三可以，后来b和d说周四可以，a通过从c，d返回的数据确定时间，但是不知道先后顺序无法判断，所以要加上时间戳，实现最终的时间一致性

多机的自增问题

oracle 提供对sequence的支持，mysql有auto increment，但是在多机环境下这是个难题

怎么保证自增序列的一致性和连续性

一个方案：把id集中管理，每次取用

性能问题：远程取用性能损耗

生成器稳定性

存储问题

两种实现：1、中心id生成器 2、内嵌在应用层的id生成逻辑，在id生成的时候请求id

跨库join

解决方案：1、在应用层把join分开，2、数据冗余3、借助外部系统如搜索引擎解决一些跨库问题

外键约束：

比艰难，不能完全依赖库之前的功能了，要求分库后库的内容是内聚的，否则只能靠应用层的判断和容错了

分表后的数据查询问题，一般在应用层进行相应的排序，函数处理，求平均值，排序分页等

数据层的整理流程

sql解析，规则处理，sql改写，数据源选择，sql执行，返回处理合并

发表评论取消回复

表情：

评论列表（有 0 条评论，174人围观）

还没有评论，来说两句吧...

相关阅读

相关数据中间件学习导图

学习导图 `只提供的是数据库中间件全局的总结，以达到对整个数据中间件的全局了解和形成一个完善的体系，详细信息请看专栏其他文章` `此外专门处理数据的软件在这里都划分为了

迈不过友情╰/ 2024年04月08日 11:27/ 0 赞/ 28 阅读

相关 java中表示层控制层业务逻辑层数据访问层

控制层（controller）：的职能是负责读取视图表现层的数据，控制用户的输入，并调用业务层的方法；业务层（service）：需要根据系统的实际业务需求进行逻辑代码的编写

逃离我推掉我的手/ 2023年09月23日 17:05/ 0 赞/ 125 阅读

相关中间件

中间件的定义中间件（英语：Middleware），又译中间件、中介层，是一类提供系统软件和应用软件之间连接、便于软件各部件之间的沟通的软件，应用软件可以借助中间件在不同

蔚落/ 2022年10月22日 11:52/ 0 赞/ 539 阅读

相关 Mysql访问中间件--Atlas初探

Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的

灰太狼/ 2022年09月08日 05:56/ 0 赞/ 163 阅读

相关中间件-消息中间件

jms是java ee 的消息规范，其实现是hornetq和activemq等，小型系统直接使用jms是可以的但是大型系统不太适用。消息中间件主要保证消息的顺序保证，扩展性

旧城等待，/ 2022年08月10日 05:59/ 0 赞/ 306 阅读

相关中间件-数据访问层

单机情况下数据库在不同语言，不同平台都有各自数据库访问组件，各种类似odbc、jdbc的封装以及orm的处理都已经相当成熟。数据库压力越来越大，处理方法是优化应用，减少压力

浅浅的花香味﹌/ 2022年08月10日 05:53/ 0 赞/ 175 阅读

相关从分库分表到数据访问层中间件

因为业务的发展，数据量也在不断的增长，单一数据库无法满足我们读写的性能需求，而分库分表分散存储压力。水平分割，基于数据记录，通过建立结构相同的几张表分别存储数据。垂直分割，基于

爱被打了一巴掌/ 2022年06月09日 07:36/ 0 赞/ 140 阅读

相关分布式数据访问层

数据库从单机到分布式的挑战和应对从应用使用单机数据库开始所有的业务数据都放在一个数据库中来管理 ![这里写图片描述][SouthEast] 数据库垂直/水

冷不防/ 2022年06月06日 10:06/ 0 赞/ 154 阅读

相关中间件

1. AOP面向切面编程 2. 可切入函数 3. 切入函数如果没有返回值，就是获取请求相关的信息，没有对原来的逻辑进行更改

红太狼/ 2022年06月02日 21:58/ 0 赞/ 244 阅读

相关数据库访问层中间件Zebra

数据库访问层中间件Zebra zebra是一个基于JDBC API协议上开发出的高可用、高性能的数据库访问层解决方案。类似阿里的tddl，zebra是一个smar

古城微笑少年丶/ 2021年12月10日 03:15/ 0 赞/ 418 阅读