龙空技术网

mysql 大批量插入解决方案

架构师笔记 3946

前言:

而今小伙伴们对“mysqlfor循环插入”大体比较珍视,各位老铁们都需要剖析一些“mysqlfor循环插入”的相关知识。那么小编也在网络上汇集了一些对于“mysqlfor循环插入””的相关知识,希望各位老铁们能喜欢,我们快快来学习一下吧!

使用场景:

测试时需要插入100w甚至1000w,1亿以上的数据,跑sql脚本循环插入或者程序遍历插入非常慢。

//DELIMITERDROP PROCEDURE if EXISTS createAmountCount;create PROCEDURE createAmountCount()BEGINDECLARE i int;set i=0;drop table if exists person ;create table person( id int not null auto_increment, name varchar(40) not null, age int, primary key(id) )engine=innodb charset=gb2312;while i<10000 DOinsert into person (name, age) values(CONCAT('usercode',i));set i=i+1;end while;END;//DELIMITERCALL createAmountCount();

解决思路:

写入文件文件导入到mysql中

实现举例(以100w为例)

1. 使用sql 生成100w数据到txt文件中。

public static void main(String[] args) throws IOException { // TODO Auto-generated method stub BufferedWriter writer = new BufferedWriter(new FileWriter(new File("D:/driver/data.txt"), true)); for(int i=0;i<1000000;i++){ if(i%10==0){ writer.write("赵"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n"); }if(i%10==1){ writer.write("钱"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n"); } if(i%10==2){ writer.write("孙"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n"); }if(i%10==3){ writer.write("李"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n"); } if(i%10==4){ writer.write("郑"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n"); }if(i%10==5){ writer.write("吴"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n"); } if(i%10==6){ writer.write("周"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n"); }if(i%10==7){ writer.write("王"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n"); } if(i%10==8){ writer.write("张"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n"); }if(i%10==9){ writer.write("刘"+(i/10)+"\t"+ (int)(Math.random()*100)+"\n"); } } writer.close(); }

2. 数据库中将数据导入表中:

create table person( id int not null auto_increment, name varchar(40) not null, age int, primary key(id) )engine=innodb charset=gb2312;load data local infile 'D:/driver/data.txt' into table person(name,age);select count(*) from person;

耗费时间:

[SQL]load data local infile 'D:/driver/data.txt' into table person(name,age);受影响的行: 1000000时间: 10.067s

本方案的缺点:

1.权限。 非admin用户没有导入。

2. 写文件代码。对测试人员来说,写文件不仅仅限于java,可以使用任何语言实现之。

标签: #mysqlfor循环插入 #mysql 批量执行脚本 #mysql批量写入 #mybatismysqlset

上一篇Maven系列之Maven仓库详解

下一篇没有了