mysql千万级数据量的订单统计

àì夳堔傛蜴生んèń 2022-03-22 21:16 811阅读 0赞

mysql千万级数据量的订单统计

背景:订单表中有两千万条数据,未做分区表或者水平分表。从包括此表在内的十张表中查询出聚合后的统计数据。

优化建议:
1.针对需求设计索引,索引适当冗余一些,以免mysql的执行计划改变导致索引失效。
2.使用explain工具 注意用小表撬动大表。
3.在数据库中使用sum,max等函数做数据的聚合查询。因为订单表数据量太大,已经超过了mysql的性能承载限制,如果每次查询都即时查询数据库会导致所需时间特别长。所以可以新建几张表,将要聚合的数据,通过定时任务的方式来插入到新表当中,当有查询需求的时候可以去新建的几张表中做聚合查询。
4.使用缓存,如果统计的数据都是不可变更的,就可以将历史数据都刷进缓存,对应用代码没有任何影响,可大大加快查询统计数据的时间。
5.大数据量的情况下,尽可能避免在mysql进行数据的聚合工作。将数据的聚合工作放在应用中来做,只要注意下空间复杂度和时间复杂度,效率将远高于在mysql。

发表评论

表情:
评论列表 (有 0 条评论,811人围观)

还没有评论,来说两句吧...

相关阅读

    相关 MySQL 数据迁移

    背景介绍 项目中表数据存在超过50%的逻辑删除数据,影响查询性能,本次计划将逻辑有效的数据迁移到新表,使得表数据量减少,索引文件减少,提高查询效率。 大体思路 通过存储

    相关 MySQL/表 全更新

    业务需求:今天从生成测试环境迁移了一批百万级/千万级表的数据,领导要求将这批数据进行脱敏处理(将真实姓名 、电话、邮箱、身份证号等敏感信息进行替换)。迁移数据记录数如下(小于百

    相关 数据处理

    千万级数据处理 前言     近日一次版本上线时,涉及到千万级数据处理,因一时疏漏造成Oracle数据库回滚段爆掉,造成版本重复发布。     系统日常运行中,产