JAVA -- 把一个大的sql文件分割成多个小sql文件

浅浅的花香味﹌ 2024-03-31 15:33 52阅读 0赞

### 背景： ###

今天从生产环境中导出了一些表的所有数据，想复制到测试环境，但是发现这个导出sql文件大小为280M，太大了，编辑工具或者数据库工具都打不开会卡死，于是想着，把这个大文件按不同的表数据分割成多个文件，再去执行语句

### 操作： ###

首先找到分割的点，因为导出的数据库sql文件是按表顺序导出的，每个表都是按创表语句+insert语句去排的，以下面为例，前面是创表语句，后面接insert语句。

根据“DROP TABLE IF EXISTS \`tablename\`;”，去匹配DROP TABLE IF EXISTS 就能分割文件，按表名去分割这个大的sql文件

![76210e687e7e47aeb282a1b638d2d747.png][]

### 代码： ###

import java.io.*;
    
    public class testMain {
    
        public static String IN_FLIE = "D:\\数据库\\生产数据库\\txyx.sql";
        public static String OUT_FLIE_PATH = "D:\\数据库\\生产数据库\\";
        public static String splitValue = "DROP TABLE IF EXISTS";
    
        public static void main(String[] args) throws IOException {
            //读取被分割的文件
            File file = new File(IN_FLIE);
            if (!file.exists() || (!file.isFile())) {
                System.out.println("文件不存在");
            }
            //用字符流读取文件内容
            BufferedReader bufferedReader = new BufferedReader(
                    new InputStreamReader(new FileInputStream(file), "UTF-8"));
            String bufStrLine = null;
            Writer writer = null ;
            //一行一行读取
            while ((bufStrLine = bufferedReader.readLine()) != null) {
                //读到存在对应标识字符串
                if (bufStrLine.contains(splitValue)){
                    //不为空，则把上一个文件输出流关闭
                    if (writer != null){
                        writer.close();
                    }
                    //创建io输出流,通过分割改行数据获取文件名
                    String fileName = OUT_FLIE_PATH+bufStrLine.split("`")[1]+".sql";
                    writer = new FileWriter(fileName);
                    System.out.println("创建文件"+fileName);
                }
                //写一行数据到输出文件
                if (writer != null){
                    writer.write(bufStrLine+"\r\n");
    
                }
            }
            //关闭最后一个输出流
            if (writer != null){
                writer.close();
            }
            System.out.println("文件大小" + file.length());
        }
    }

### 运行验证： ###

![7e561c6763a14da7b0463ee5b5292e4d.png][]

![85d7f8cda74748e89b58ab0d04451de0.png][]

### 结果： ###

成功分割，每个文件大小都50M前后，可以在数据库工具中正常执行

[76210e687e7e47aeb282a1b638d2d747.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/9793e3bf93994805bff21daea0fad1d2.png
[7e561c6763a14da7b0463ee5b5292e4d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/cc4b8435e917473b921a5e807c33922f.png
[85d7f8cda74748e89b58ab0d04451de0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/5442f954e4794874a5ef7eba9526bf4d.png