面试官：MySQL分表后，如何做分页查询？

╰+哭是因爲堅強的太久メ 2023-09-26 16:01 40阅读 0赞

随着项目运行的时间越来越长，有些数据的存储也会越来越大，比如一些点击量，浏览量量，单表的数据可以到达上千万条数据，这时候会存在单表数据过大，查询效率低的问题。

为了提高查询效率这时候需要对单表进行拆分，比如一张1000万条数据的表，我们需要把它拆分为10张表，一张表就需要100万，mysql中单表都有一个最大存储的阈值，数据量不能超过这个值；

分表之间，我们需要去生产一个上万条的数据的表，这里我生产了如下的数据：

![dc27eef76d46d3c5965552de3b9b1d95.png][]

我需要对这张表进行拆分多张，我这里拆分了2张表；

**第一步：**

表一：

DROP table IF EXISTS tb_member1;
    create table tb_member1(
        id bigint primary key auto_increment ,
        name varchar(20),
        age tinyint not null default '0'
    )ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;

表二：

DROP table IF EXISTS tb_member2;
    create table tb_member2(
        id bigint primary key auto_increment ,
        name varchar(20),
        age tinyint not null default '0'
    )ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;

接下来开始进行拆分：

insert into tb_member1(id,name,sex) select id,name,sex from dd_user where id%2=0;
    insert into tb_member2(id,name,sex) select id,name,sex from dd_user where id%2=1;

数据被分为：

![12fbc2547970f35a86f0a8626327f83f.png][]

![2a17afaf9226640335085fd78beff03e.png][]

这时候表基本是已经拆分完成。

**接下来，我们需要考虑的是一张user表被拆分成2张表，那分页如何实现呢？**

第一步：

创建一个主表：

DROP table IF EXISTS tb_member_all;
    create table tb_member_all(
    id bigint primary key auto_increment ,
    name varchar(20),
    age tinyint not null default '0'
    )ENGINE=MERGE UNION=(tb_member1,tb_member2) INSERT_METHOD=LAST CHARSET=utf8 AUTO_INCREMENT=1 ;

执行上述出现如下问题：

ERROR 1168 (HY000): Unable to open underlying table which is differently defined
    or of non-MyISAM type or doesn't exist

需要检查：

1.  查看上面的分表数据库引擎是不是MyISAM.
2.  查看分表与指标的字段定义是否一致。

上述的都成功以后，我们会发现，你在`member1`或者`member2`中创建数据`member_all`表中也会出现同样的数据

所以：`tb_member_all`表就是`tb_member1`，`tb_member2`的并集，刚刚实现到这里，我也没理解，后来看了一些文档，了解了一下：

![8e86be808dc054954b5f9bdd6acd22b5.png][]

其实`tb_member_all`表里面是没有存储数据，它就是一个外壳，里面的数据是`tb_member1`，`tb_member2`的并集，数据的存储是放在分表中；

![c31e50e68807e7f7e00d82edd5709801.png][]

![f51a1432103294b5cf5cb66b706d7b1e.png][]

![ec8f41bf079f5e3c555afce763584ae3.png][]

这时候，我们就豁然开朗了，利用这个`tb_member_all`，我们就可以实现数据查询的分页；

**java代码实现：**

![a55efaa93ca10a7c21000e6553cdaafb.png][]

`id%2`这是取模处理，分配数据进入哪个数据；

我们在做分页的时候就利用`tb_member_all`表去做分页查询实现

![b8a5e463c645c83d1ce1f3f60797bbbe.png][]

![bfaf339dbc334e86f23021b84aaf93e4.png][]

![a1bbbefe18b27bcbe191ae8fefc911f9.png][]

测试结果：![89d27ef344574e2082dc0592c7c48932.png][]

[dc27eef76d46d3c5965552de3b9b1d95.png]: https://img-blog.csdnimg.cn/img_convert/dc27eef76d46d3c5965552de3b9b1d95.png
[12fbc2547970f35a86f0a8626327f83f.png]: https://img-blog.csdnimg.cn/img_convert/12fbc2547970f35a86f0a8626327f83f.png
[2a17afaf9226640335085fd78beff03e.png]: https://img-blog.csdnimg.cn/img_convert/2a17afaf9226640335085fd78beff03e.png
[8e86be808dc054954b5f9bdd6acd22b5.png]: https://img-blog.csdnimg.cn/img_convert/8e86be808dc054954b5f9bdd6acd22b5.png
[c31e50e68807e7f7e00d82edd5709801.png]: https://img-blog.csdnimg.cn/img_convert/c31e50e68807e7f7e00d82edd5709801.png
[f51a1432103294b5cf5cb66b706d7b1e.png]: https://img-blog.csdnimg.cn/img_convert/f51a1432103294b5cf5cb66b706d7b1e.png
[ec8f41bf079f5e3c555afce763584ae3.png]: https://img-blog.csdnimg.cn/img_convert/ec8f41bf079f5e3c555afce763584ae3.png
[a55efaa93ca10a7c21000e6553cdaafb.png]: https://img-blog.csdnimg.cn/img_convert/a55efaa93ca10a7c21000e6553cdaafb.png
[b8a5e463c645c83d1ce1f3f60797bbbe.png]: https://img-blog.csdnimg.cn/img_convert/b8a5e463c645c83d1ce1f3f60797bbbe.png
[bfaf339dbc334e86f23021b84aaf93e4.png]: https://img-blog.csdnimg.cn/img_convert/bfaf339dbc334e86f23021b84aaf93e4.png
[a1bbbefe18b27bcbe191ae8fefc911f9.png]: https://img-blog.csdnimg.cn/img_convert/a1bbbefe18b27bcbe191ae8fefc911f9.png
[89d27ef344574e2082dc0592c7c48932.png]: https://img-blog.csdnimg.cn/89d27ef344574e2082dc0592c7c48932.png