操作BLOB类型的字段及高效的批量插入操作

小咪咪 2024-04-06 11:06 95阅读 0赞

**目录**

一、操作BLOB类型的字段

MySQL中的BLOB类型字段

插入BLOB类型数据

查询BOLB类型数据

二、批量插入

批量执行SQL语句

高效的批量插入：

--------------------

## 一、操作BLOB类型的字段 ##

### MySQL中的BLOB类型字段 ###

MySQL中，BLOB是一个二进制大型对象，是一个存储大量数据的容器，它能容纳不同大型的数据

插入BLOB类型的数据必须使用PreparedStatement，因为BLOB类型的数据无法使用字符串拼接写的

MySQL的四种BLOB类型：

> 1、TingyBlob。最大存放255B
> 
> 2、Blob，最大存放65KB
> 
> 3、MediumBlob，最大存放16MB
> 
> 4、LongBlob，最大存放4GB

实际使用中根据需要存入的数据大小定义不同的BLOB类型

需要注意的是：如果存储的文件过大，数据库的性能会下降

如果在指定了相关的Blob类型以后，还报错：xxx too large，那么在mysql的安装目录下，找my.ini文件加上如下的配置参数：max\_allowed\_packet=16M，同时注意：修改了my.ini文件之后，需要重新启动MySQL服务

### 插入BLOB类型数据 ###

//获取连接
    Connection conn = JDBCUtils.getConnection();
    String sql = "insert into customers(name,email,birth,photo)values(?,?,?,?)";
    PreparedStatement ps = conn.prepareStatement(sql);
    //填充占位符
    ps.setString(1, "韩立人");
    ps.setString(2, "hlr@126.com");
    ps.setDate(3, new Date(new java.util.Date().getTime()));
    //操作Blob类型的变量
    FileInputStream fis = new FileInputStream("xhq.png");
    ps.setBlob(4, fis);
    //执行
    ps.execute();
    fis.close();
    JDBCUtils.closeResource(conn, ps)

### 查询BOLB类型数据 ###

String sql = "SELECT id, name, email, birth, photo FROM customer WHERE id = ?";
    conn = getConnection();
    ps = conn.prepareStatement(sql);
    ps.setInt(1, 8);
    rs = ps.executeQuery();
    if(rs.next()){
        Integer id = rs.getInt(1);
        String name = rs.getString(2);
        String email = rs.getString(3);
        Date birth = rs.getDate(4);
        Customer cust = new Customer(id, name, email, birth);
        System.out.println(cust);
        //读取Blob类型的字段
        Blob photo = rs.getBlob(5);
        InputStream is = photo.getBinaryStream();//从查询出来的Blob对象中获取二进制流
        OutputStream os = new FileOutputStream("c.jpg");
        byte [] buffer = new byte[1024];
        int len = 0;
        while((len = is.read(buffer)) != -1){
        os.write(buffer, 0, len);
    }
    JDBCUtils.closeResource(conn, ps, rs);
    if(is != null){
        is.close();
    }
    if(os != null){
        os.close();
    }

## 二、批量插入 ##

### 批量执行SQL语句 ###

当需要成批插入或者更新记录时，可以采用java的批量更新机制，这一机制允许多条语句一次性提交给数据库批量处理。通常情况下比单独提交处理更有效率

JDBC的批量处理语句包括下面三个方法

> 1、addBatch(String)：添加需要批量处理的SQL语句或是参数
> 
> 2、executeBatch()：执行批量处理语句
> 
> 3、clearBatch()：清空缓存的数据

两种批量执行SQL语句的情况：

> 多条SQL语句的批量处理
> 
> 一个SQL语句的批量传参

### 高效的批量插入： ###

方式一：使用Statement

Connection conn = JDBCUtils.getConnection();
    Statement st = conn.createStatement();
    for(int i = 1;i <= 20000;i++){
        String sql = "insert into goods(name) values('name_' + "+ i +")";
        st.executeUpdate(sql);
    }

方式二：使用PreparedStatement(比Statement高效)

long start = System.currentTimeMillis();
    Connection conn = JDBCUtils.getConnection();
    String sql = "insert into goods(name)values(?)";
    PreparedStatement ps = conn.prepareStatement(sql);
    for(int i = 1;i <= 20000;i++){
        ps.setString(1, "name_" + i);
        ps.executeUpdate();
    }
    long end = System.currentTimeMillis();
    System.out.println("花费的时间为：" + (end - start));//82340
    JDBCUtils.closeResource(conn, ps);

方式三：使用批量处理语句对方式二优化

public void testInsert1() throws Exception{
            long start = System.currentTimeMillis();
            Connection conn = JDBCUtils.getConnection();
            String sql = "insert into goods(name)values(?)";
            PreparedStatement ps = conn.prepareStatement(sql);
            for(int i = 1;i <= 1000000;i++){
                ps.setString(1, "name_" + i);
                //1.“攒”sql
                ps.addBatch();
                if(i % 500 == 0){
                    //2.执行
                    ps.executeBatch();
                    //3.清空
                    ps.clearBatch();
                }
            }
            long end = System.currentTimeMillis();
            System.out.println("花费的时间为：" + (end - start));//20000条：625
            //1000000条:14733
            JDBCUtils.closeResource(conn, ps);
    }

方式四：使用Connection的setAutoCommit()方法对方式三优化

public void testInsert2() throws Exception{
        long start = System.currentTimeMillis();
        Connection conn = JDBCUtils.getConnection();
        //1.设置为不自动提交数据
        conn.setAutoCommit(false);
        String sql = "insert into goods(name)values(?)";
        PreparedStatement ps = conn.prepareStatement(sql);
        for(int i = 1;i <= 1000000;i++){
            ps.setString(1, "name_" + i);
            //1.“攒”sql
            ps.addBatch();
            if(i % 500 == 0){
                //2.执行
                ps.executeBatch();
                //3.清空
                ps.clearBatch();
            }
        }
        //2.手动提交数据
        conn.commit();
        long end = System.currentTimeMillis();
        System.out.println("花费的时间为：" + (end - start));//1000000条:4978
        JDBCUtils.closeResource(conn, ps);
    }