Mysql 快速生成百千万条测试数据

柔情只为你懂 2022-06-01 07:52 179阅读 0赞

## 1、生成思路 ##

利用mysql内存表插入速度快的特点，先利用函数和存储过程在内存表中生成数据，然后再从内存表插入普通表中

## 2、创建内存表及普通表 ##

\[sql\]  [view plain][]  [copy][view plain]

1.  CREATE TABLE \`vote\_record\_memory\` (  
2.      \`id\` INT (11) NOT NULL AUTO\_INCREMENT,  
3.      \`user\_id\` VARCHAR (20) NOT NULL,  
4.      \`vote\_id\` INT (11) NOT NULL,  
5.      \`group\_id\` INT (11) NOT NULL,  
6.      \`create\_time\` datetime NOT NULL,  
7.      PRIMARY KEY (\`id\`),  
8.      KEY \`index\_id\` (\`user\_id\`) USING HASH  
9.  ) ENGINE = MEMORY AUTO\_INCREMENT = 1 DEFAULT CHARSET = utf8

\[sql\]  [view plain][]  [copy][view plain]

1.  CREATE TABLE \`vote\_record\` (  
2.      \`id\` INT (11) NOT NULL AUTO\_INCREMENT,  
3.      \`user\_id\` VARCHAR (20) NOT NULL,  
4.      \`vote\_id\` INT (11) NOT NULL,  
5.      \`group\_id\` INT (11) NOT NULL,  
6.      \`create\_time\` datetime NOT NULL,  
7.      PRIMARY KEY (\`id\`),  
8.      KEY \`index\_user\_id\` (\`user\_id\`) USING HASH  
9.  ) ENGINE = INNODB AUTO\_INCREMENT = 1 DEFAULT CHARSET = utf8

## 3、创建函数及存储过程 ##

\[sql\]  [view plain][]  [copy][view plain]

1.  CREATE FUNCTION \`rand\_string\`(n INT) RETURNS varchar(255) CHARSET latin1  
2.  BEGIN   
3.  DECLARE chars\_str varchar(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789';   
4.  DECLARE return\_str varchar(255) DEFAULT '' ;  
5.  DECLARE i INT DEFAULT 0;   
6.  WHILE i < n DO   
7.  SET return\_str = concat(return\_str,substring(chars\_str , FLOOR(1 + RAND()\*62 ),1));   
8.  SET i = i +1;   
9.  END WHILE;   
10. RETURN return\_str;   
11. END

\[sql\]  [view plain][]  [copy][view plain]

1.  CREATE  PROCEDURE \`add\_vote\_memory\`(IN n int)  
2.  BEGIN    
3.    DECLARE i INT DEFAULT 1;  
4.      WHILE (i <= n ) DO  
5.        INSERT into vote\_record\_memory  (user\_id,vote\_id,group\_id,create\_time ) VALUEs (rand\_string(20),FLOOR(RAND() \* 1000),FLOOR(RAND() \* 100) ,now() );  
6.              set i=i+1;  
7.      END WHILE;  
8.  END

## 4、调用存储过程 ##

\[sql\]  [view plain][]  [copy][view plain]

1.  CALL add\_vote\_memory(1000000)

根据电脑性能不能所花时间不一样，大概时间在小时级别，如果报错内存满了，只在修改max\_heap\_table\_size 个参数即可，win7修改位置如下，linux，修改my.cnf文件，修改后要重启mysql，重启后内存表数据会丢失

![Center][]

## 5、插入普通表中 ##

\[sql\]  [view plain][]  [copy][view plain]

1.  INSERT into vote\_record SELECT \* from  vote\_record\_memory

## 6、结果 ##

![Center 1][]

![Center 2][]

[view plain]: http://blog.csdn.net/whzhaochao/article/details/49126037#
[Center]: /images/20220601/5f58992ede9942d7b8910aa68f69a311.png
[Center 1]: /images/20220601/247fee0052bb4081b24a3ffc204db4ce.png
[Center 2]: /images/20220601/092e477fb17a4af29e8ec5ff373afe61.png