索引使用策略及优化

男娘i 2022-05-25 02:30 290阅读 0赞

MySQL的优化主要分为结构优化（Scheme optimization）和查询优化（Query optimization）。本文讨论的高性能索引策略主要属于结构优化范畴。本章的内容完全基于上文[B+树在数据库索引中的应用][B]的理论基础，一旦理解了索引背后的机制，那么选择高性能的策略就变成了纯粹的推理，并且可以理解这些策略背后的逻辑。

示例数据库  
为了讨论索引策略，需要一个数据量不算小的数据库作为示例。本文选用MySQL官方文档中提供的示例数据库之一：[employees][]。这个数据库关系复杂度适中，且数据量较大。下图是这个数据库的E-R关系图（引用自MySQL官方手册）：  
![这里写图片描述][70]

[https://dev.mysql.com/doc/employee/en/][employees] 该连接提供了该数据库的介绍和安装地址。建议将该数据库导入本地完成来学习参考本文内容。

### 最左前缀原理与相关优化 ###

高效使用索引的首要条件是知道什么样的查询会使用到索引，这个问题和B+Tree中的“最左前缀原理”有关，下面通过例子说明最左前缀原理。

这里先说一下联合索引的概念。在上文中，我们都是假设索引只引用了单个的列，实际上，MySQL中的索引可以以一定顺序引用多个列，这种索引叫做联合索引，一般的，一个联合索引是一个有序元组`<a1, a2, …, an>`，其中各个元素均为数据表的一列。

对于employees.titles查询该表的索引结构：

![这里写图片描述][70 1]

>  *  Table 表的名称。
>  *  Non\_unique 如果索引不能包括重复词，则为0。如果可以，则为1。
>  *  Key\_name 索引的名称。（PRIMARY为主键索引，否则是普通索引）
>  *  Seq\_in\_index 索引中的列序列号，从1开始。
>  *  Column\_name 列名称。
>  *  Collation 列以什么方式存储在索引中。在MySQL中，有值‘A’（升序）或NULL（无分类）。
>  *  Cardinality 索引中唯一值的数目的估计值。通过运行ANALYZE TABLE或myisamchk -a可以更新。基数根据被存储为整数的统计数据来计数，所以即使对于小型表，该值也没有必要是精确的。基数越大，当进行联合时，MySQL使用该索引的机会就越大。
>  *  Sub\_part 如果列只是被部分地编入索引，则为被编入索引的字符的数目。如果整列被编入索引，则为NULL。
>  *  Packed 指示关键字如何被压缩。如果没有被压缩，则为NULL。
>  *  Null 如果列含有NULL，则含有YES。如果没有，则该列含有NO。
>  *  Index\_type 用过的索引方法（BTREE, FULLTEXT, HASH, RTREE）。
>  *  Comment，Index\_comment 评注。

在对数据进行分析前，先了解 Mysql 的 explain用法和性能分析语句。

EXPLAIN解释命令是显示mysql如何使用索引来处理select语句以及连接表。可以帮助选择更好的索引和写出更优化的查询语句。

使用方法很简单，就是在select语句前加上explain, 如下：

1.  使用explain语句去查看分析结果，如

explain select * from test1 where id=1;

EXPLAIN 命令返回列说明：

**select\_type:**

表示select的类型(取值有：simple,primary,union,subquery)

**type：**

在mysql中获取所需行的方式，也可以叫访问类型

取值： all -> index -> range -> ref -> eq\_ref -> const, system -> null (性能由差到好)

all: 全表扫描

index: 索引全扫描

range: 索引范围扫描 （<, <=, >, >=, between等）

ref: 使用非唯一索引扫描或唯一索引的前缀扫描或使用join。来查询某个单独值的记录行(where id = xxx)

eq\_ref: 类似于ref，区别在于使用唯一索引，join primary key 或 unique index

const/system: 单表最多有一个匹配行，可以被优化器在当前查询中当成常量使用，

null：不访问表的查询

**possible\_keys：** 查询中可能用到的索引

**key：** 实际使用的索引

**key\_len：**使用到索引字段的长度

**rows：** 扫描行的数量

**Extra：** 执行机会的额外说明

该语句的执行结构字段说明，详见：  
[https://dev.mysql.com/doc/refman/5.7/en/explain-output.html\#explain\_filtered][https_dev.mysql.com_doc_refman_5.7_en_explain-output.html_explain_filtered]

#### 情况一：全列匹配。 ####

EXPLAIN SELECT * FROM employees.titles WHERE emp_no='10001' AND title='Senior Engineer' AND from_date='1986-06-26';

![这里写图片描述][70 2]

很明显，当按照索引中所有列进行精确匹配（这里精确匹配指“=”或“IN”匹配）时，索引可以被用到。这里有一点需要注意，理论上索引对顺序是敏感的，但是由于MySQL的查询优化器会自动调整where子句的条件顺序以使用适合的索引，例如我们将where中的条件顺序颠倒：

EXPLAIN SELECT * FROM employees.titles WHERE title='Senior Engineer' AND emp_no='10001' AND from_date='1986-06-26';

![这里写图片描述][70 3]

效果是一样的。

#### 情况二：最左前缀匹配。 ####

EXPLAIN SELECT * FROM employees.titles WHERE emp_no='10001';

![这里写图片描述][70 4]

当查询条件精确匹配索引的左边连续一个或几个列时，如或

#### 情况三：查询条件用到了索引中列的精确匹配，但是中间某个条件未提供。 ####

EXPLAIN SELECT * FROM employees.titles WHERE emp_no='10001' AND from_date='1986-06-26';

![这里写图片描述][70 5]

此时索引使用情况和情况二相同，因为title未提供，所以查询只用到了索引的第一列，而后面的from\_date虽然也在索引中，但是由于title不存在而无法和左前缀连接，因此需要对结果进行扫描过滤from\_date（这里由于emp\_no唯一，所以不存在扫描）。如果想让from\_date也使用索引而不是where过滤，可以增加一个辅助索引`<emp_no, from_date>`，此时上面的查询会使用这个索引。除此之外，还可以使用一种称之为“隔离列”的优化方法，将emp\_no与from\_date之间的“坑”填上。

看下title一共有几种不同的值：

SELECT DISTINCT(title) FROM employees.titles;

![这里写图片描述][70 6]

只有7种。在这种成为“坑”的列值比较少的情况下，可以考虑用“IN”来填补这个“坑”从而形成最左前缀：

EXPLAIN SELECT * FROM employees.titles
    WHERE emp_no='10001'
    AND title IN ('Senior Engineer', 'Staff', 'Engineer', 'Senior Staff', 'Assistant Engineer', 'Technique Leader', 'Manager')
    AND from_date='1986-06-26';

![这里写图片描述][70 7]

这次key\_len为59，说明索引被用全了，但是从type和rows看出IN实际上执行了一个range查询，这里检查了7个key。当然，如果title的值很多，用”填坑”就不合适了，必须建立辅助索引。

#### 情况四：查询条件没有指定索引第一列。 ####

EXPLAIN SELECT * FROM employees.titles WHERE from_date='1986-06-26';

![这里写图片描述][70 8]

由于不是最左前缀，索引这样的查询显然用不到索引。

#### 情况五：匹配某列的前缀字符串。 ####

EXPLAIN SELECT * FROM employees.titles WHERE emp_no='10001' AND title LIKE 'Senior%';

![这里写图片描述][70 9]

如果通配符%不出现在开头，则可以用到索引，但根据具体情况不同可能只会用其中一个前缀。

#### 情况六：范围查询。 ####

EXPLAIN SELECT * FROM employees.titles WHERE emp_no < '10010' and title='Senior Engineer';

![这里写图片描述][70 10]

范围列可以用到索引（必须是最左前缀），但是范围列后面的列无法用到索引。同时，索引最多用于一个范围列，因此如果查询条件中有两个范围列则无法全用到索引。

EXPLAIN SELECT * FROM employees.titles
    WHERE emp_no < '10010'
    AND title='Senior Engineer'
    AND from_date BETWEEN '1986-01-01' AND '1986-12-31';

![这里写图片描述][70 11]

可以看到索引对第二个范围索引无能为力。这里特别要说明MySQL一个有意思的地方，那就是仅用explain可能无法区分范围索引和多值匹配，因为在type中这两者都显示为range。同时，用了“between”并不意味着就是范围查询，例如下面的查询：

EXPLAIN SELECT * FROM employees.titles
    WHERE emp_no BETWEEN '10001' AND '10010'
    AND title='Senior Engineer'
    AND from_date BETWEEN '1986-01-01' AND '1986-12-31';

![这里写图片描述][70 12]

看起来是用了两个范围查询，但作用于emp\_no上的“BETWEEN”实际上相当于“IN”，也就是说emp\_no实际是多值精确匹配。可以看到这个查询用到了索引全部三个列。因此在MySQL中要谨慎地区分多值匹配和范围匹配，否则会对MySQL的行为产生困惑。

#### 情况七：查询条件中含有函数或表达式。 ####

很不幸，如果查询条件中含有函数或表达式，则MySQL不会为这列使用索引（虽然某些在数学意义上可以使用）。例如：

EXPLAIN SELECT * FROM employees.titles WHERE emp_no='10001' AND left(title, 6)='Senior';

![这里写图片描述][70 13]

虽然这个查询和情况五中功能相同，但是由于使用了函数left，则无法为title列应用索引，而情况五中用LIKE则可以。再如：

EXPLAIN SELECT * FROM employees.titles WHERE emp_no - 1='10000';

![这里写图片描述][70 14]

显然这个查询等价于查询emp\_no为10001的函数，但是由于查询条件是一个表达式，MySQL无法为其使用索引。看来MySQL还没有智能到自动优化常量表达式的程度，因此在写查询语句时尽量避免表达式出现在查询中，而是先手工私下代数运算，转换为无表达式的查询语句。

### 索引选择性与前缀索引 ###

既然索引可以加快查询速度，那么是不是只要是查询语句需要，就建上索引？答案是否定的。因为索引虽然加快了查询速度，但索引也是有代价的：索引文件本身要消耗存储空间，同时索引会加重插入、删除和修改记录时的负担，另外，MySQL在运行时也要消耗资源维护索引，因此索引并不是越多越好。一般两种情况下不建议建索引。

第一种情况是表记录比较少，例如一两千条甚至只有几百条记录的表，没必要建索引，让查询做全表扫描就好了。至于多少条记录才算多，这个个人有个人的看法，我个人的经验是以2000作为分界线，记录数不超过 2000可以考虑不建索引，超过2000条可以酌情考虑索引。

另一种不建议建索引的情况是索引的选择性较低。所谓索引的选择性（Selectivity），是指不重复的索引值（也叫基数，Cardinality）与表记录数（\#T）的比值：

Index Selectivity = Cardinality / \#T

显然选择性的取值范围为(0, 1\]，选择性越高的索引价值越大，这是由B+Tree的性质决定的。例如，上文用到的employees.titles表，如果title字段经常被单独查询，是否需要建索引，我们看一下它的选择性

SELECT count(DISTINCT(title))/count(*) AS Selectivity FROM employees.titles;

![这里写图片描述][70 15]

title的选择性不足0.0001（精确值为0.00001579），所以实在没有什么必要为其单独建索引

**有一种与索引选择性有关的索引优化策略叫做前缀索引，就是用列的前缀代替整个列作为索引key，当前缀长度合适时，可以做到既使得前缀索引的选择性接近全列索引，同时因为索引key变短而减少了索引文件的大小和维护开销。**下面以employees.employees表为例介绍前缀索引的选择和使用。

![这里写图片描述][70 16]

该表仅有主键索引 emp\_on，那么如果我们想按名字搜索一个人，就只能全表扫描了：

EXPLAIN SELECT * FROM employees.employees WHERE first_name='Eric' AND last_name='Anido';

![这里写图片描述][70 17]

如果频繁按名字搜索员工，这样显然效率很低，因此我们可以考虑建索引。有两种选择，建`<first_name>`或`<first_name, last_name>`，看下两个索引的选择性：

SELECT count(DISTINCT(first_name))/count(*) AS Selectivity FROM employees.employees;

![这里写图片描述][70 18]

SELECT count(DISTINCT(concat(first_name, last_name)))/count(*) AS Selectivity FROM employees.employees;

![这里写图片描述][70 19]

`<first_name>`显然选择性太低，`<first_name, last_name>`选择性很好，但是first\_name和last\_name加起来长度为30，有没有兼顾长度和选择性的办法？可以考虑用first\_name和last\_name的前几个字符建立索引，例如`<first_name, left(last_name, 3)>`，看看其选择性：

SELECT count(DISTINCT(concat(first_name, left(last_name, 3))))/count(*) AS Selectivity FROM employees.employees;

![这里写图片描述][70 20]

选择性还不错，但离0.9313还是有点距离，那么把last\_name前缀加到4：

![这里写图片描述][70 21]

这时选择性已经很理想了，而这个索引的长度只有18，比`<first_name, last_name>`短了接近一半，我们把这个前缀索引建上：

ALTER TABLE employees.employees
    ADD INDEX `first_name_last_name4` (first_name, last_name(4));

检验该索引的性能

SET profiling = 1;
    SELECT * FROM employees.employees WHERE first_name='Eric' AND last_name='Anido'
    show profiles

![这里写图片描述][70 22]

drop index first_name_last_name4 on employees
    SELECT * FROM employees.employees WHERE first_name='Eric' AND last_name='Anido'
    show profiles

![这里写图片描述][70 23]

性能的提升是显著的

前缀索引兼顾索引大小和查询速度，但是其缺点是不能用于ORDER BY和GROUP BY操作，也不能用于Covering index（即当索引本身包含查询所需全部数据时，不再访问数据文件本身）。

参考：[http://blog.codinglabs.org/articles/theory-of-mysql-index.html][http_blog.codinglabs.org_articles_theory-of-mysql-index.html]

[B]: https://blog.csdn.net/canot/article/details/80205642
[employees]: https://dev.mysql.com/doc/employee/en/
[70]: /images/20220525/3a8fd111471d4aa0a652137055087eaa.png
[70 1]: /images/20220525/77247618bc184ce69adc03edf79e97a8.png
[https_dev.mysql.com_doc_refman_5.7_en_explain-output.html_explain_filtered]: https://dev.mysql.com/doc/refman/5.7/en/explain-output.html#explain_filtered
[70 2]: /images/20220525/a8dcc289668f47ae8067a4469c050d41.png
[70 3]: /images/20220525/bce2d1ee674a4f41a6c6e980ab0dd6ee.png
[70 4]: /images/20220525/c7b8cecc49084bfcb49c98a4a952e0d2.png
[70 5]: /images/20220525/4041771cf4e8495b92f10378d53c7556.png
[70 6]: /images/20220525/1e7e280498b448c0b5417b65bbf1d332.png
[70 7]: /images/20220525/2e79b215db4e41e9a3cc90adc918dfc9.png
[70 8]: /images/20220525/c14d2351931e4c7bb2bca4cb76698420.png
[70 9]: /images/20220525/65434ed83af9441c9b97688ec3b49a76.png
[70 10]: /images/20220525/bbce3a4fe8904b9a813e7df7b9b0d715.png
[70 11]: /images/20220525/775ac2cb457b49b6977c97754e681184.png
[70 12]: /images/20220525/0b27b27e95c04c168326c30b40ece34b.png
[70 13]: /images/20220525/840a127b3c9942638fbd5046d0a1dde4.png
[70 14]: /images/20220525/e8008f865df4416cae49dd3465961407.png
[70 15]: /images/20220525/16d96363835c4adcadf6bf58fed2ef41.png
[70 16]: /images/20220525/82f62108bbbd4ad9a943e04a2943d207.png
[70 17]: /images/20220525/7e57af03b6cd448cada5d5adf8af4b8d.png
[70 18]: /images/20220525/3075e67beefb4ac3b0ecbfa25c473f3b.png
[70 19]: /images/20220525/53fa5884626b48848edcf4323ecbd754.png
[70 20]: /images/20220525/d32afbd468df4059a75bf811c947133e.png
[70 21]: /images/20220525/cf4e7d35b2b64062b744126baf6417db.png
[70 22]: /images/20220525/73a23a2c58994a74b158e8bffb9db662.png
[70 23]: /images/20220525/accfe400513f4a79a8076595c1922a75.png
[http_blog.codinglabs.org_articles_theory-of-mysql-index.html]: http://blog.codinglabs.org/articles/theory-of-mysql-index.html