头条分库分表与分区的区别和思考，MySQL这么说你能明白吗

系统管理员 2022-10-06 13:53 59阅读 0赞

## 一.分分合合 ##

说过很多次，不要拘泥于某一个技术的一点，技术是相通的。重要的是编程思想，思想是最重要的。当数据量大的时候，需要具有分的思想去细化粒度。当数据量太碎片的时候，需要具有合的思想来粗化粒度。

### 1.1 分 ###

**很多技术都运用了分的编程思想，这里来举几个例子，这些都是分的思想**

*  集中式服务发展到分布式服务
 *  从Collections.synchronizedMap(x)到1.7ConcurrentHashMap再到1.8ConcurrentHashMap，细化锁的粒度的同时依旧保证线程安全
 *  从AtomicInteger到LongAdder，ConcurrentHashMap的size()方法。用分散思想，减少cas次数，增强多线程对一个数的累加
 *  JVM的G1 GC算法，将堆分成很多Region来进行内存管理
 *  Hbase的RegionServer中，将数据分成多个Region进行管理
 *  平时开发是不是线程池都资源隔离

### 2.2 合 ###

很多技术也运用到了合的编程思想，这里举几个例子，这些都是合的思想

*  TLAB（Thread Local Allocation Buffers），线程本地分配缓存。避免多线程冲突，提高对象分配效率
 *  逃逸分析，将变量的实例化内存直接在栈里分配，无需进入堆，线程结束栈空间被回收。减少临时对象在堆内分配数量
 *  CMS GC算法下，虽然使用标记清除，但是也有配置支持整理内存碎片。如：-XX:UseCMS-CompactAtFullCollection（FullGC后是否整理，Stop The World会变长）和-XX:CMSFullGCs-BeforeCompaction（几次FullGC之后进行压缩整理）
 *  锁粗化，当JIT发现一系列连续的操作都是对同一对象反复加锁和释放锁，会加大锁同步的范围kafka的网络数据传输有一些数据配置，减少网络开销。如：batch.size和linger.ms等等平时开发是不是都个叫批量获取接口

## 二.分区 ##

> 本文一切基于MySql InnoDB

说了这么多，接下来说主体，先说分区，因为之前博主写过一篇MySql分区的博客所以这里不会多费笔墨来写，彻底搞懂MySQL分区

### 2.1 实现方式 ###

具体如何实现上面链接里有写，**这里只需记住如果表中存在主键或唯一索引时，分区列必须是唯一索引的一个组成部分。**

这个是数据库分的，应用透明，代码无需修改任何东西。

### 2.2 内部文件 ###

先去data目录，如果不知道目录位置的可以执行：

![df1c8d388f79165db33dc9f952321f24.png][]

接下来看下内部文件：

![a3b08904681deb894639ed1412edd2a1.png][]

从上图我们可以看出，有2种类型的文件，.frm文件和.ibd文件

*  \*\*.frm文件：\*\*表结构文件
 *  \*\*.ibd文件：\*\*InnoDB中，索引和数据都在同个文件.ibdata（你的执行结果可能是.MYD索引文件和.MYI数据文件，没关系，这是MyIsAm存储引擎，对应着InnoDB的.ibd文件）。因为Order这张表分为5个区，所以有5个这样的文件
 *  \*\*.par文件：\*\*你执行的结果可能有.par文件也可能没有。**注意：从MySql 5.7.6开始，不再创建.par分区定义文件。分区定义存储在内部数据字典中。**

### 2.3 数据处理 ###

分区表后，提高了MySql性能。如果一张表的话，那就只有一个.ibd文件，一颗大的B+树。如果分表后，将按分区规则，分成不同的区，也就是一个大的B+树，分成多个小的树。InnoDB一棵B+树可以存放多少行数据？

读的效率肯定提升了，如果走分区键索引的话，先走对应分区的辅助索引B+树，再走对应分区的聚集索引B+树。

**如果没有走分区键，将会在所有分区都会执行一次。会造成多次逻辑IO！平时开发如果想查看sql语句的分区查询可以使用explain partitons select xxxxx语句。可以看到一句select语句走了几个分区。**

## 三.分库分表 ##

当一张表随着时间和业务的发展，库里表的数据量会越来越大。数据操作也随之会越来越大。一台物理机的资源有限，最终能承载的数据量、数据的处理能力都会受到限制。这时候就会使用分库分表来承接超大规模的表，单机放不下的那种。

区别于分区的是，分区一般都是放在单机里的，用的比较多的是时间范围分区，方便归档。只不过分库分表需要代码实现，分区则是mysql内部实现。分库分表和分区并不冲突，可以结合使用。

![d1dcfeb5d9be0dac27e533323a63322f.png][]

转存失败重新上传取消

![754fbd7fac7741173ed2079e9ca905d7.png][]

### 3.1 实现 ###

3.1.1 分库分表标准

*  存储占用100G+
 *  数据增量每天200w+
 *  单表条数1亿条+

3.1.2 分库分表字段

分库分表字段取值非常重要

*  在大多数场景该字段是查询字段
 *  数值型

一般使用userId，可以满足上述条件

### 3.2 分布式数据库中间件 ###

分布式数据库中间件分为两种，proxy和客户端式架构。proxy模式有MyCat、DBProxy等，客户端式架构有TDDL、Sharding-JDBC等。那么proxy和客户端式架构有何区别呢？各自有什么优缺点呢？其实看一张图便可知晓。

**proxy模式的话我们的select和update语句都是发送给代理，由这个代理来操作具体的底层数据库。所以必须要求代理本身需要保证高可用，否则数据库没有宕机，proxy挂了，那就走远了。**

**客户端模式通常在连接池上做了一层封装，内部与不同的库连接，sql交给smart-client进行处理。通常仅支持一种语言，如果其他语言要使用，需要开发多语言客户端。**

![c42feefbbe7518d605331125cc6f81d5.png][]

各自的优缺点如下：

![1c1c8a2c684ef718e2097e24c936ab9f.png][]

### 3.3 内部文件 ###

找了一个分库分表+分区的例子，基本上和分区表的差不多，只是多了多了很多表的.ibd文件，上面有文件的解释：

[miaojiaxing@Grim testmydata]# ls | grep 'base_info'
    base_info_00.frm
    base_info_00#P#p_2018.ibd
    base_info_00#P#p_2019.ibd
    base_info_00#P#p_2020.ibd
    base_info_00#P#p_2021.ibd
    base_info_00#P#p_init.ibd
    base_info_00#P#p_max.ibd
    base_info_01.frm
    base_info_01#P#p_2018.ibd
    base_info_01#P#p_2019.ibd
    base_info_01#P#p_2020.ibd
    base_info_01#P#p_2021.ibd
    base_info_01#P#p_init.ibd
    base_info_01#P#p_max.ibd
    base_info.frm
    base_info.ibd

![ba9a4b43d88cd7a46b0f0dd1672d25be.gif][]

### 3.4 问题 ###

3.4.1 事务问题

既然分库分表了，那么肯定涉及到分布式事务，如何保证插入到不同库的多条记录能够要么同时成功，要么同时失败。有些同学可能想到XA，XA性能差而且不需要使用mysql5.7。**柔性事务是目前主流的方案，TCC模式就属于柔性事务。**

对于分布式事务问题每家公司有自己的实现，华为用saga，阿里用TXC，蚂蚁用DTX，支持FMT模式和TCC模式。

![c0206fa2b3c82cb08935833b3ff4cdc1.png][]

3.4.2 join问题

**tddl、MyCAT等都支持跨分片join。但是尽力避免跨库join，比如通过字段冗余的方式等。**

如果出现了这种情况且中间件支持分片join，那么可以这样使用。如果不支持可以手工查询。

## 四.总结 ##

分表和在用途上不一样，分表是为了承接超大规模的表，单机放不下那种。分区的话则一般都是放在单机里的，用的比较多的是时间范围分区，方便归档。性能稳定上的话都是一个个子表，差不多，区别应该是分区表是mysql内部实现的，会比分表方案少一点数据交互。

\#\#\#\#\#\#大家看完有什么不懂的可以在下方留言讨论  
\#\#\#\#\#\#也可以关注.谢谢你的观看。

### 最后 ###

现在正是金三银四的春招高潮，前阵子小编一直在搭建自己的网站，并整理了全套的\*\*【一线互联网大厂Java核心面试题库+解析】：包括Java基础、异常、集合、并发编程、JVM、Spring全家桶、MyBatis、Redis、数据库、中间件MQ、Dubbo、Linux、Tomcat、ZooKeeper、Netty等等\*\*…都已全部整理上传在\*\*我的腾讯文档上：[点击这里前往传送门][Link 1]\*\*并会持续更新…可以star一下。

VM、Spring全家桶、MyBatis、Redis、数据库、中间件MQ、Dubbo、Linux、Tomcat、ZooKeeper、Netty等等\*\*…都已全部整理上传在\*\*我的腾讯文档上：[点击这里前往传送门][Link 1]\*\*并会持续更新…可以star一下。

![image][]

[df1c8d388f79165db33dc9f952321f24.png]: /images/20221005/3a851c13f0df44d2a29106b54a7dc538.png
[a3b08904681deb894639ed1412edd2a1.png]: /images/20221005/035421e21b1e4f989ca00800ad993ddb.png
[d1dcfeb5d9be0dac27e533323a63322f.png]: /images/20221005/d12d3b0909ae4c5fb6628cc04a0c5166.png
[754fbd7fac7741173ed2079e9ca905d7.png]: /images/20221005/29149a2502024c6a93c220318239f636.png
[c42feefbbe7518d605331125cc6f81d5.png]: /images/20221005/fbaf5ab04ff44beca0aa56eba1ee6c9e.png
[1c1c8a2c684ef718e2097e24c936ab9f.png]: /images/20221005/11f937e2f41146acbe03f87a056b0294.png
[ba9a4b43d88cd7a46b0f0dd1672d25be.gif]: /images/20221005/01691808e6e845f5b53020af74480d4a.png
[c0206fa2b3c82cb08935833b3ff4cdc1.png]: /images/20221005/3ebb761444d94230846cecfb5451cd40.png
[Link 1]: https://docs.qq.com/doc/DSmxTbFJ1cmN1R2dB
[image]: /images/20221005/7f700b371aca4e248d4177c0fe1b0472.png