mysql 批量插入数据（INNODB）优化

野性酷女 2024-02-18 17:22 41阅读 0赞

innodb的主要优化  
init\_connect='SET autocommit=0' //关闭自动提交，这个对于innodb来说，很重要  
innodb-file-per-table=1 //使用独立表空间  
innodb-open-file=500 //打开最大文件数据是500，默认是300  
innodb\_log\_file\_size=512M //log文件大小  
innodb\_log\_buffer\_size=8M //缓冲日志数据的缓冲区的大小  
innodb\_flush\_log\_at\_trx\_commit=0 //提交数据等级0是最快，但是有可能会丢数据  
innodb\_buffer\_pool\_size=5G //缓冲池大小，我把它设置内在的65%  
innodb\_log\_files\_in\_group=3 //日志文件总数  
innodb\_file\_io\_threads=8 //根cpu核数是一样，读写文件进程数  
event\_scheduler=1 //开启动mysql event  
  
//添加一个mysql event  
CREATE EVENT \`commit\_event\` ON SCHEDULE EVERY 5 MINUTE STARTS '2017-12-22 9:06:26' ON COMPLETION NOT PRESERVE ENABLE DO COMMit  
  
  
1,自动提交对innodb的影响非常大的，这个我做过测试，请参考,mysql autocommit对myisam,innodb的性能影响.  
  
  
会话级关闭自动提交  
mysql> set autocommit=off;  
Query OK, 0 rows affected (0.00 sec)  
mysql> show variables like 'autocommit';  
\+---------------+-------+  
| Variable\_name | Value |  
\+---------------+-------+  
| autocommit | OFF |  
\+---------------+-------+  
1 row in set (0.00 sec)  
2、@@autocommit为0表示off，为1表示on  
  
  
mysql> select @@autocommit; //查看一下autocommit的设置  
\+--------------+  
| @@autocommit |  
\+--------------+  
| 0 |  
\+--------------+  
1 row in set (0.00 sec)  
  
  
2,innodb\_flush\_log\_at\_trx\_commit我把它设置成0，我只要求速度最快，最是统计推广的弹窗，这些数据只是为了我们后期统计和分析用的，没有太大的价值。如果数据很重要就不要设置成0了。  
  
  
0代表日志只大约每秒写入日志文件并且日志文件刷新到磁盘.  
1InnoDB会在每次提交后刷新(fsync)事务日志到磁盘上  
2代表日志写入日志文件在每次提交后,但是日志文件只有大约每秒才会刷新到磁盘上.  
  
  
3,还有一点就是我用了mysql event功能，根linux的crontab差不多，以前没在生产环境中用过mysql event，这次试了一下，还是挺给力的。关于mysql event请参考，mysql event 是什么，有什么用.