大数据分页优化

快来打我* 2022-07-14 23:37 181阅读 0赞

limit 及翻页优化

limit offset,N,  当offset非常大时, 效率极低,

原因是mysql并不是跳过offset行,然后单取N行,

而是取offset+N行,返回放弃前offset行,返回N行.

效率较低,当offset越大时,效率越低

优化办法:

1: 从业务上去解决

办法: 不允许翻过100页

以百度为例,一般翻页到70页左右.

1:不用offset,用条件查询.

例:

mysql> select id,name from lx\_com limit 5000000,10;

\+---------+--------------------------------------------+

| id      | name                                       |

\+---------+--------------------------------------------+

| 5554609 | 温泉县人民政府供暖中心          |

..................

| 5554618 | 温泉县邮政鸿盛公司                |

\+---------+--------------------------------------------+

10 rows in set (5.33 sec)

mysql> select id,name from lx\_com where id>5000000 limit 10;

\+---------+--------------------------------------------------------+

| id      | name                                                   |

\+---------+--------------------------------------------------------+

| 5000001 | 南宁市嘉氏百货有限责任公司                |

.................

| 5000002 | 南宁市友达电线电缆有限公司                |

\+---------+--------------------------------------------------------+

10 rows in set (0.00 sec)

问题: 2次的结果不一致

原因: 数据被物理删除过,有空洞.

解决: 数据不进行物理删除(可以逻辑删除).

最终在页面上显示数据时,逻辑删除的条目不显示即可.

(一般来说,大网站的数据都是不物理删除的,只做逻辑删除 ,比如 is\_delete=1)

3: 非要物理删除,还要用offset精确查询,还不限制用户分页,怎么办?

分析: 优化思路是 不查,少查,查索引,少取.

我们现在必须要查,则只查索引,不查数据,得到id.

再用id去查具体条目.  这种技巧就是延迟索引.

mysql> select id,name from lx\_com inner join (select id from lx\_com limit 5000000,10) as tmp using(id);

\+---------+-----------------------------------------------+

| id      | name                                          |

\+---------+-----------------------------------------------+

| 5050425 | 陇县河北乡大谈湾小学                |

........

| 5050434 | 陇县堎底下镇水管站                   |

\+---------+-----------------------------------------------+

10 rows in set (1.35 sec)

发表评论取消回复

表情：

评论列表（有 0 条评论，181人围观）

还没有评论，来说两句吧...

相关阅读

相关数据量很大，分页查询很慢，怎么优化？

当需要从数据库查询的表有上万条记录的时候，一次性查询所有结果会变得很慢，特别是随着数据量的增加特别明显，这时需要使用分页查询。对于数据库分页查询，也有很多种方法和优化的点。

小灰灰/ 2023年10月14日 15:48/ 0 赞/ 134 阅读

相关 mysql 大分页查询优化_Mysql优化大分页查询

如题，年前做了一个需求，涉及到Mysql大分页查询，整理一下，希望对需要的小伙伴有帮助。背景 ![1255187e4eb1d15dd394c32d0a43427a.png

叁歲伎倆/ 2023年01月11日 10:58/ 0 赞/ 193 阅读

相关大数据分页优化

limit 及翻页优化 limit offset,N, 当offset非常大时, 效率极低, 原因是mysql并不是跳过offset行,然后单取N行, 而是取offse

快来打我*/ 2022年07月14日 23:37/ 0 赞/ 182 阅读

相关 mysql大数据量分页查询优化技巧

PS：我们知道mysql使用Limit实现了分页查询，在我们平常的Web开发中常用一些通用的分页查询jar包，比如说有名的中国开发者实现的java Pagehelper（Git

骑猪看日落/ 2022年06月17日 05:06/ 0 赞/ 382 阅读

相关 MySQL大数据量分页查询方法及其优化

原文地址:http://www.cnblogs.com/geningchao/p/6649907.html \---方法1: 直接使用数据库提供的SQL语句 \---

亦凉/ 2022年06月13日 23:46/ 0 赞/ 312 阅读

相关 MySQL大数据量分页查询方法及其优化

—方法1: 直接使用数据库提供的SQL语句 —语句样式: MySQL中,可用如下方法: SELECT \ FROM 表名称 LIMIT M,N —适应场景: 适用于数据

怼烎@/ 2022年05月31日 03:26/ 0 赞/ 326 阅读

相关 MySQL大数据量分页查询方法及其优化

原文地址:http://www.cnblogs.com/geningchao/p/6649907.html [https://blog.csdn.net/persistenc

﹏ヽ暗。殇╰゛Y/ 2022年03月01日 04:14/ 0 赞/ 295 阅读

相关 mysql大数据量分页查询优化策略(原创)

第一此慢不好解决，不过把 have\_query\_cache 设置为 YES 用 SHOW VARIABLES LIKE ‘have\_query\_cache’

古城微笑少年丶/ 2022年01月26日 12:53/ 0 赞/ 354 阅读

相关大数据量分页查询怎么优化提速？

点击上方 [Java后端][Java]，选择设为星标优质文章，及时送达 -------------------- 作者｜悠悠i cnblogs.com/you

悠悠/ 2021年08月31日 11:13/ 0 赞/ 491 阅读

相关大数据量分页查询，SQL语句如何优化？

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg] 作者：悠悠i 原文：cnblogs.com/youyoui/p/7851007.html 当需要

深碍√TFBOYSˉ_/ 2021年07月31日 14:15/ 0 赞/ 510 阅读