MySQL数据库10秒内插入百万条数据的实现

首先我们思考一个问题：

要插入如此庞大的数据到数据库，正常情况一定会频繁地进行访问，什么样的机器设备都吃不消。那么如何避免频繁访问数据库，能否做到一次访问，再执行呢？

java其实已经给了我们答案。

这里就要用到两个关键对象：statement、preparestatement

我们来看一下二者的特性：

要用到的basedao工具类 (jar包 / maven依赖) (maven依赖代码附在文末)(封装以便于使用)

注：（重点）rewritebatchedstatements=true，一次插入多条数据，只插入一次！！

public class basedao {  //  静态工具类，用于创建数据库连接对象和释放资源，方便调用
    //    导入驱动jar包或添加maven依赖（这里使用的是maven，maven依赖代码附在文末）
    static {
        try {
            class.forname("com.mysql.cj.jdbc.driver");
        } catch (classnotfoundexception e) {
            e.printstacktrace();
        }
    }
 
    //  获取数据库连接对象
    public static connection getconn() {
        connection conn = null;
        try {
            //  rewritebatchedstatements=true,一次插入多条数据，只插入一次
            conn = drivermanager.getconnection("jdbc:mysql://localhost:3306/million-test?rewritebatchedstatements=true", "root", "qwerdf");
        } catch (sqlexception throwables) {
            throwables.printstacktrace();
        }
        return conn;
    }
 
    //  释放资源
    public static void closeall(autocloseable... autocloseables) {
        for (autocloseable autocloseable : autocloseables) {
            if (autocloseable != null) {
                try {
                    autocloseable.close();
                } catch (exception e) {
                    // todo auto-generated catch block
                    e.printstacktrace();
                }
            }
        }
    }
}

接下来上关键代码及注释：

/*  因为数据库的处理速度是非常惊人的 单次吞吐量很大 执行效率极高
    addbatch()把若干sql语句装载到一起，然后一次送到数据库执行，执行需要很短的时间
    而preparedstatement.executeupdate() 是一条一条发往数据库执行的 时间都消耗在数据库连接的传输上面*/
public static void main(string[] args) {
    long start = system.currenttimemillis();    //  获取系统当前时间，方法开始执行前记录
    connection conn = basedao.getconn();        //  调用刚刚写好的用于获取连接数据库对象的静态工具类
    string sql = "insert into mymilliontest values(null,?,?,?,now())";  //  要执行的sql语句
    preparedstatement ps = null;
    try {
        ps = conn.preparestatement(sql);    //  获取preparedstatement对象
        //  不断产生sql
        for (int i = 0; i < 1000000; i++) {
            ps.setstring(1, math.ceil(math.random() * 1000000) + "");
            ps.setstring(2, math.ceil(math.random() * 1000000) + "");
            ps.setstring(3, uuid.randomuuid().tostring());  //  uuid该类用于随机生成一串不会重复的字符串
            ps.addbatch();  //  将一组参数添加到此 preparedstatement 对象的批处理命令中。
        }
        int[] ints = ps.executebatch();//   将一批命令提交给数据库来执行，如果全部命令执行成功，则返回更新计数组成的数组。
        //  如果数组长度不为0，则说明sql语句成功执行，即百万条数据添加成功！
        if (ints.length > 0) {
            system.out.println("已成功添加一百万条数据！！");
        }
    } catch (sqlexception throwables) {
        throwables.printstacktrace();
    } finally {
        basedao.closeall(conn, ps);  //  调用刚刚写好的静态工具类释放资源
    }
    long end = system.currenttimemillis();  //  再次获取系统时间
    system.out.println("所用时长:" + (end - start) / 1000 + "秒");  //  两个时间相减即为方法执行所用时长
}

最后我们运行看一下效果：

嘿嘿，这里时长超过了10秒，设备差点意思，希望理解哈~

<!--连接数据库所用到的mysql-connector-java依赖--><dependency>    <groupid>mysql</groupid>    <artifactid>mysql-connector-java</artifactid>    <version>8.0.27</version></dependency>

ps : 添上线程后会更快，在后续的文章中会作示例。

到此这篇关于mysql数据库10秒内插入百万条数据的实现的文章就介绍到这了,更多相关mysql 插入百万条数据内容请搜索www.887551.com以前的文章或继续浏览下面的相关文章希望大家以后多多支持www.887551.com！

MySQL数据库10秒内插入百万条数据的实现

相关推荐