mysql大数据分表后查询

﹏ヽ暗。殇╰゛Y 2023-10-18 11:09 126阅读 0赞

当数据量猛增的时候，大家都会选择库表散列等等方式去优化数据读写速度，举例说明：

1亿条数据，分100张表

1.首先创建100张表

i = 0 ; w h i l e ( i=0; while( i=0;while(i<=99)\{  
echo “$newNumber \\r\\n”;  
 s q l = " C R E A T E T A B L E ‘ c o d e " . sql="CREATE TABLE \`code\_". sql="CREATETABLE‘code".i.“`(`full\_code`char(10) NOT NULL,`create\_time`int(10) unsigned NOT NULL, PRIMARY KEY (`full\_code\`),  
) ENGINE=MyISAM DEFAULT CHARSET=utf8”;  
mysql\_query($sql);  
$i++;

2.分表规则：

full\_code作为主键，对full\_code做hash

t a b l e n a m e = g e t h a s h t a b l e ( ′ c o d e ′ , table\_name=get\_hash\_table(&\#x27;code&\#x27;, tablename=gethashtable(′code′,full\_code);

function get\_hash\_table( t a b l e , table, table,code,$s=100)\{  
 h a s h = s p r i n t f ( " hash = sprintf("%u", crc32( hash=sprintf("code));  
echo $hash;  
 h a s h 1 = i n t v a l ( f m o d ( hash1 = intval(fmod( hash1=intval(fmod(hash, $s));  
return  t a b l e . " " . table."\_". table."".hash1;  
\}

这样插入数据前通过get\_hash\_table获取数据存放的表名。

3.使用merge存储引擎来实现一张完整的code表

CREATE TABLE IF NOT EXISTS `code` (  
`full_code` char(10) NOT NULL,  
`create_time` int(10) unsigned NOT NULL,  
INDEX(full\_code)  
) TYPE=MERGE UNION=(code\_0,code\_1,code\_2…) INSERT\_METHOD=LAST ;

通过select \* from code就可以得到所有的full\_code数据了。

发表评论取消回复

表情：

评论列表（有 0 条评论，126人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL分表后查询异常问题演示

在MySQL中，如果需要处理大量数据或者提高查询效率，我们可能会选择进行分表。然而，分表后，由于数据不再集中在一个表里，可能会导致查询时出现以下异常： 1. **全表扫描**

Love The Way You Lie/ 2025年02月05日 17:12/ 0 赞/ 5 阅读

相关 MySQL分库分表后查询难题：应对策略

在MySQL进行分库分表后，确实会增加一些查询的复杂性。以下是一些应对策略： 1. **合理设计分片规则**：确保数据按照某种逻辑均匀分布到各个分表中。 2. **使用JO

朴灿烈づ我的快乐病毒、/ 2025年01月04日 04:09/ 0 赞/ 47 阅读

相关 mysql大数据分表后查询

当数据量猛增的时候，大家都会选择库表散列等等方式去优化数据读写速度，举例说明： 1亿条数据，分100张表 1.首先创建100张表 i = 0 ; w h i l e (

﹏ヽ暗。殇╰゛Y/ 2023年10月18日 11:09/ 0 赞/ 127 阅读

相关 MySQL大表分页查询优化技巧

一、问题复现在实际的软件系统开发过程中，随着使用的用户群体越来越多，表数据也会随着时间的推移，单表的数据量会越来越大。以订单表为例，假如每天的订单量在 4 万左右，

超、凢脫俗/ 2023年10月03日 22:34/ 0 赞/ 96 阅读

相关面试官：MySQL分表后，如何做分页查询？

随着项目运行的时间越来越长，有些数据的存储也会越来越大，比如一些点击量，浏览量量，单表的数据可以到达上千万条数据，这时候会存在单表数据过大，查询效率低的问题。为了提高查询效

╰+哭是因爲堅強的太久メ/ 2023年09月26日 16:01/ 0 赞/ 38 阅读

相关 mysql 大分页查询优化_Mysql优化大分页查询

如题，年前做了一个需求，涉及到Mysql大分页查询，整理一下，希望对需要的小伙伴有帮助。背景 ![1255187e4eb1d15dd394c32d0a43427a.png

叁歲伎倆/ 2023年01月11日 10:58/ 0 赞/ 262 阅读

相关 mysql分表+分页查询

随着项目运行的时间越来越长，有些数据的存储也会越来越大，比如一些点击量，浏览量量，单表的数据可以到达上千万条数据，这时候会存在单表数据过大，查询效率低的问题，为了提高查询效率这

川长思鸟来/ 2022年12月22日 15:23/ 0 赞/ 283 阅读

相关百亿级数据分表后怎么分页查询？

当业务规模达到一定规模之后，像淘宝日订单量在5000万单以上，美团3000万单以上。数据库面对海量的数据压力，分库分表就是必须进行的操作了。而分库分表之后一些常规的查询可能都会

系统管理员/ 2022年12月20日 12:54/ 0 赞/ 227 阅读

相关 mysql 数据库分表后怎么进行分页查询？Mysql分库分表方案?

1.如果只是为了分页，可以考虑这种分表，就是表的id是范围性的，且id是连续的，比如第一张表id是1到10万，第二张是10万到20万，这样分页应该没什么问题。

绝地灬酷狼/ 2022年04月18日 03:33/ 0 赞/ 961 阅读

相关 mysql大表分页查询优化(翻译)

> 大表分页查询优化文章目录 1. 分页查询核心点 2 索引使用 3. 使用实例

Myth丶恋晨/ 2022年03月01日 13:52/ 0 赞/ 464 阅读