mysql 快速生成百万条测试数据

朴灿烈づ我的快乐病毒、 2022-08-09 06:26 318阅读 0赞

1、生成思路

利用mysql内存表插入速度快的特点，先利用函数和存储过程在内存表中生成数据，然后再从内存表插入普通表中

2、创建内存表及普通表

  1. CREATE TABLE `vote_record_memory` (
  2.     `id` INT (11) NOT NULL AUTO_INCREMENT,
  3.     `user_id` VARCHAR (20) NOT NULL,
  4.     `vote_id` INT (11) NOT NULL,
  5.     `group_id` INT (11) NOT NULL,
  6.     `create_time` datetime NOT NULL,
  7.     PRIMARY KEY (`id`),
  8.     KEY `index_id` (`user_id`) USING HASH
  9. ) ENGINE = MEMORY AUTO_INCREMENT = 1 DEFAULT CHARSET = utf8
  14. CREATE TABLE `vote_record` (
  15.     `id` INT (11) NOT NULL AUTO_INCREMENT,
  16.     `user_id` VARCHAR (20) NOT NULL,
  17.     `vote_id` INT (11) NOT NULL,
  18.     `group_id` INT (11) NOT NULL,
  19.     `create_time` datetime NOT NULL,
  20.     PRIMARY KEY (`id`),
  21.     KEY `index_user_id` (`user_id`) USING HASH
  22. ) ENGINE = INNODB AUTO_INCREMENT = 1 DEFAULT CHARSET = utf8

3、创建函数及存储过程

  1. CREATE FUNCTION `rand_string`(n INT) RETURNS varchar(255) CHARSET latin1
  2. BEGIN 
  3. DECLARE chars_str varchar(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789'; 
  4. DECLARE return_str varchar(255) DEFAULT '' ;
  5. DECLARE i INT DEFAULT 0; 
  6. WHILE i < n DO 
  7. SET return_str = concat(return_str,substring(chars_str , FLOOR(1 + RAND()*62 ),1)); 
  8. SET i = i +1; 
  9. END WHILE; 
  10. RETURN return_str; 
  11. END
  16. CREATE  PROCEDURE `add_vote_memory`(IN n int)
  17. BEGIN  
  18.   DECLARE i INT DEFAULT 1;
  19.     WHILE (i <= n ) DO
  20.       INSERT into vote_record_memory  (user_id,vote_id,group_id,create_time ) VALUEs (rand_string(20),FLOOR(RAND() * 1000),FLOOR(RAND() * 100) ,now() );
  21.             set i=i+1;
  22.     END WHILE;
  23. END

4、调用存储过程

  1. CALL add_vote_memory(1000000)

根据电脑性能不能所花时间不一样，大概时间在小时级别，如果报错内存满了，只在修改max_heap_table_size 个参数即可，win7修改位置如下，linux，修改my.cnf文件，修改后要重启mysql，重启后内存表数据会丢失

Center

5、插入普通表中

  1. INSERT into vote_record SELECT * from  vote_record_memory

6、结果

Center 1

Center 2

发表评论

表情：
评论列表 （有 0 条评论，318人围观）

还没有评论，来说两句吧...

相关阅读

    相关 Mysql批量插入百万测试数据

    背景：需要做稳定测试，需要我造一千万条测试数据 步骤： 1.先建立一张临时表，等把数据刷进去之后，在把表名字更改成真正的表，这样就造数据的时候不会阻碍测试正常测试 sql

    悠悠悠悠/ 0 赞/ 334 阅读

    相关 mysql 导入百万测试数据

    最近自己测试的时候需要使用百万行测试数据，网上看的用存储过程生成的测试数据，大多不太能用，后来想到直接找现成的测试数据导入就可以了，这里分享一个可用的测试数据sql文件。压缩包

    迷南。迷南。/ 0 赞/ 414 阅读