从程序员的角度深入理解MySQL

Myth丶恋晨 2022-01-16 05:47 215阅读 0赞

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][]

![1240][]

**前言**

今天我将站在程序员的角度以[MySQL为例探索][MySQL]数据库的奥秘！

**数据库基本原理**

![1240][1240 1]

我对DB的理解

**1、数据库的组成：存储 + 实例**

不必多说，数据当然需要存储；存储了还不够，显然需要提供程序对存储的操作进行封装，对外提供增删改查的API，即实例。

一个存储，可以对应多个实例，这将提高这个[存储的负载能力以及高可用][Link 1]；多个存储可以分布在不同的机房、地域，将实现容灾。

**2、按Block or Page读取数据**

用大腿想也知道，数据库不可能按行读取数据（Why?   ^\_^）。实质上，数据库，如Oracle/MySQL，都是基于固定大小（比如16K）的物理块（Block or Page，我这里就不区分统一称为Block）来实现调度和管理的。要知道Block是数据库的概念，如何对应到文件系统呢？显然需要指出“这个Block的地址在哪里”，当查找到地址后，读取固定大小的数据就相当于完成了Block的读取了。

数据库很聪明的，它不会仅仅只[读取需要读取][Link 2]的Block，它还会替我们把附近的Block块都读取加载至内存。实际上，这是为了减少IO次数，提高命中率。事实上，一个Block块的附近Block也是热点数据，这种处理方式很有必要！

**3、磁盘IO是数据库的性能瓶颈**

毫无疑问，数据在磁盘上，少不了磁盘IO。什么磁头旋转，定位磁道，寻址的过程，就不说了，我们是程序员，也管不了这些。但是这个过程确实是非常耗时的，和内存读取不是一个数量级，所以后来出现了很多方式来减少IO，提升数据库性能。

比如，增加内存，让数据库把数据更多的[加载至内存][Link 3]。内存虽好，但也不能滥用，为什么这么说呢？假设数据库中有100G数据，如果都加载至内存，也就说数据库要管理100G磁盘数据+100G内存数据，你说累不累？（数据库要处理磁盘和内存的映射关系，数据的同步，还要对内存数据进行清理，如果涉及数据库事务，又是一系列复杂操作......）不过这里需要指出的是，为了加快内存查找速度，数据库一般对内存进行HASH存放。

比如，利用索引，索引相比内存，是一个性价比非常高的东西，后文详细介绍MySQL的索引原理。

比如，利用性能更好的磁盘...（和咱们就没关系呢）

**4、提出一些问题思考下：**

为什么我们说利用delete删除一个表的数据较trancate一个表要慢？

【一个按行查找删除，多费劲；一个基于Block的体系结构删除】

为什么我们说要小表驱动大表？

【小表驱动大表会快？什么鬼？M\*N和N\*M不是一样的么？有鬼的地方，就有索引！】

**探索MySQL索引背后的原理**

对于绝大数的应用系统，读写比例在10:1，甚至100:1，而且insert/update很难出现性能问题，遇到最多的，最棘手的就是select了，select优化是重中之重，显然少不了索引！

说起MySQL的索引，我们会冒出很多这些东西：BTree索引/B+Tree索引/Hash索引/聚集索引/非聚集索引...这么多，晕头！

**索引到底是什么，想解决什么问题？**

老生常谈了，官网说MySQL索引是一种数据结构，索引的目的就是为了提高查询效率。

说白了，不使用索引的话，磁盘IO次数比较多！要想减少磁盘IO次数，怎么办？

我们想通过不断缩小想要获取的数据的范围来筛选出最终想要的结果，把每次查找数据的磁盘IO次数控制在一个很小的数量级，最好是常数数量级。

为了应对上述问题，B+Tree索引出来了！

**Hello，B+Tree**

在MySQL中，不[同存储引擎对索引][Link 4]的实现方式是不同的，这里将重点分析MyISAM和Innodb。

![1240][1240 2]

MyISAM引擎的B+Tree索引结构

我们知道对于MyISAM引擎而言，数据文件和索引文件是分离的。从图中也可以看出，通过索引查找到后，就得到了数据的物理地址，然后根据地址定位数据文件中的记录即可。这种方式也叫"非聚集索引"。

而对于Innodb引擎而言，数据文件本身是索引文件！通俗点说，叶子节点上，MyISAM存储的是记录的物理地址，而Innodb上存储的是数据内容，这种方式即"聚集索引"。

另外一点需要注意的是，对于Innodb而言，主键索引中叶子节点存储的是数据内容，而普通索引的叶子节点中存储的是主键值！也就是说，对于Innodb的普通索引字段查找，先通过普通索引的B+Tree查找到主键后，然后通过主键索引的B+Tree进行查找。从这里你可以看出，对于Innodb而言，主键的建立非常重要！

而对于MyISAM而言，主键索引和普通索引仅仅的区别在于主键只需要查找到一条记录即可停止，而普通索引允许重复，找到一条记录后需要继续查找，在结构上没有区别，如上图所示。

**深入B+Tree**

提几个问题：

*①. 为什么B+Tree把真实的数据放到叶子节点，而不是内层节点？*

*②. 为什么我们说索引字段要尽可能短，最好是单调递增的？*

*③. 为什么复合索引存在最左匹配原则？*

*④. 范围查询（>,<,between,like）对最左匹配有什么影响？*

关于B+Tree的一些数学理论，咱们就不玩了，至少一点可以肯定的是：数据表的数据量N=F(树的高度h，每个Block存储的索引的个数m)。在N一定的情况下，索引字段越小，那么m会越大，这意味着h将越小！树越低，当然查找的更快！

如果内层节点存放真实的数据，显然m会变小，树将变高。

在实际应用中，我们应该尽可能采用单调递增的字段作为主键，一方面不会使得索引的数据结构变大，减小了索引占用的空间；另一方面也不会频繁的分裂B+Tree，使得效率下降。

比如复合索引(name,age,sex)，B+Tree会优先比较name来确定下一步的搜索方向。如果突然来了个(age,sex)，根本上就无从下手。这也是符合常理的，对于一本书，我们说“找到第几章第几节的XXX”，从没有听说过“找到第几节的XXX”！这是复合索引的重要特性，即最左匹配特性。

假设存在复合索引(name,age,sex)，我们在进行select的时候，并没有按照这个顺序进行，而是sex = 'man' and name = 'zfz' and age = 27，是否会使用索引呢？数据库是很聪明的，在SQL优化的时候，会自动帮助我们调整！但是如果缺失了复合索引的第一列，数据库也将无能为力呢。

对于最左匹配，MySQL会一直向右匹配直到遇到范围查询就停止匹配。什么意思？比如复合索引(name,age,sex)，对于name = 'zhangfengzhe' and age > 26 and sex = 'man'，实际上只利用到了复合索引的name列。

**想利用索引，就得“干净”**

什么叫“干净”？就是不要让索引参与计算！比如在索引上应用函数，很可能导致索引失效。为什么呢？

其实不用想，B+Tree上存储的是数据，要比较的话，需要把所有的数据都应用上函数，显然成本太大。

**想建立索引，看看区分度**

索引虽然物美价廉，但是也别乱来。count(distinct col) / count(\*)可以算一下col的区分度，显然对于主键而言，就是1。区分度太低的话，可以考虑下，是否还有必要建立索引呢？

**Hash索引**

这里并不是要深入分析Hash索引，而是要说明一下Hash的思想真是无处不在！

在MySQL的Memory存储引擎中[，存在hash函数][hash]，给一个key，通过hash函数进行计算得到地址，所以通常情况下，hash索引查找，会非常快，O（1）的速度。但是也存在hash冲突，和HashMap一样，通过单链表的形式解决。

思考下，hash索引是否支持范围查询呢？

显然是不支持的，它只能给一个KEY去查找。就如同HashMap一样，查找key包含"zhangfengzhe"的，会很快么？

**SQL优化神器：explain**

SQL优化的场景很多，网上的技巧也很多，完全记不住！

要想彻底解决这个问题，我想只有把索引背后的数据结构和原理做适当的理解，遇到书[写SQL或者SQL慢][SQL_SQL]查询的时候，我们有基础去分析，再利用好explain工具去验证，就应该问题不大呢。

explain查询的结果，可以告诉你哪些索引正在被使用，表是如何被扫描的等等。这里我将演示个Demo。

数据表student：

![1240][1240 3]

注意复合索引(age,address)

![1240][1240 4]

符合最左前缀匹配

![1240][1240 5]

复合索引失效

OK，到这里，准备结束了，[查询容易][Link 4]，[优化不易][Link 5]，且写且珍惜！

***扩展阅读***

[一个不可思议的MySQL慢查分析与解决][SQL_SQL]

[MySQL大数据量分页查询方法及其优化][Link 5]

[MySQL 性能优化 : 索引和查询优化][Link 4]

[深入理解synchronized关键字][synchronized]

[深入了解Java之虚拟机内存][Java]

[Redis为何这么快--数据存储角度][Link 1]

转载于:https://my.oschina.net/javafirst/blog/3040449

[2019_Python_]: https://my.oschina.net/u/2663968/blog/3061697
[hot3.png]: /images/20220114/2cfd8c493a0845b5ab965b0bd33cc95a.png
[1240]: /images/20220114/c769194d884b4c7782cb831f3646350d.png
[MySQL]: http://mp.weixin.qq.com/s?__biz=MzU5NTAzNjM0Mw==&mid=2247483806&idx=1&sn=418644cbe00b942073733bbb4ae21b38&chksm=fe795046c90ed950027e79d0cd3f97e95c5479e545019703928e46c81e77efdbe5d852f3aff8&scene=21#wechat_redirect
[1240 1]: /images/20220114/7cf34d4d8efc415f9397197191792de1.png
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5NTAzNjM0Mw==&mid=2247486274&idx=1&sn=e03a9158d21561de7d9cfe0a11b30d0a&chksm=fe795a9ac90ed38c517875a11c84db84aa71b95e9cc1b2173526839666d62a65ca8488b5e811&scene=21#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5NTAzNjM0Mw==&mid=2247483740&idx=1&sn=be61a1a11704a96e44aced25bbb691ec&chksm=fe795084c90ed99296133c5284fbe5e1a618b1a97e42ae066d8960fc1e3f5c53919d012c4695&scene=21#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU5NTAzNjM0Mw==&mid=2247486315&idx=1&sn=36e659dac3ca07b885385ad2b67ef26a&chksm=fe795ab3c90ed3a59b7b7d2b89db86de0e7301dd7775ba82cae01700a1ccc75bf32dbc9407f1&scene=21#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU5NTAzNjM0Mw==&mid=2247484758&idx=2&sn=ff12615031ba474df89132d204d970a9&chksm=fe79548ec90edd9892c50cdbdf967e0060df3175efc4a858ff406bddbb4089316238e4b1b33a&scene=21#wechat_redirect
[1240 2]: /images/20220114/ce62fe81393b4b2eba1408ed977fc454.png
[hash]: http://mp.weixin.qq.com/s?__biz=MzU5NTAzNjM0Mw==&mid=2247486068&idx=3&sn=702e0eae127da86da3a2f50e94add6ef&chksm=fe795bacc90ed2ba77f5205df36308ed3290b5d7fe33dfed2415a0469a47952f4337e636ef01&scene=21#wechat_redirect
[SQL_SQL]: http://mp.weixin.qq.com/s?__biz=MzU5NTAzNjM0Mw==&mid=2247484315&idx=3&sn=19c4cadaeed54fa86a69d24f4d83284c&chksm=fe795243c90edb55e10e0c15e231b9baed2a2d77d9b2f680a98ae259b1776b390c8d3ae21af6&scene=21#wechat_redirect
[1240 3]: /images/20220114/97d78e19656545a1932408f2e2e2575c.png
[1240 4]: /images/20220114/95fe83482dde44f78d55f0c70754b4f2.png
[1240 5]: /images/20220114/0ec8b51b9b0844fd8899a62cb7c27a70.png
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU5NTAzNjM0Mw==&mid=2247485409&idx=3&sn=f3c15881b30539a3d7552e3902b27f73&chksm=fe795639c90edf2fdbb663ae399e448f246540cf64b964414d737865dc264bba372f528d9c6f&scene=21#wechat_redirect
[synchronized]: http://mp.weixin.qq.com/s?__biz=MzU5NTAzNjM0Mw==&mid=2247486287&idx=2&sn=23bbb285eb0f272cc5c14c8563cf5dd5&chksm=fe795a97c90ed3815054a12fb8da41805ce739b8c3995729d4a1167762030f21a354e7b98180&scene=21#wechat_redirect
[Java]: http://mp.weixin.qq.com/s?__biz=MzU5NTAzNjM0Mw==&mid=2247485874&idx=2&sn=6533223eb96122e2c21f8a833b626c02&chksm=fe79586ac90ed17cb4896e94343f9b34a674e9540a6144954fa2e74f3fbe4191cc1e9bd8f34c&scene=21#wechat_redirect