今天从生产环境中导出了一些表的所有数据,想复制到测试环境,但是发现这个导出sql文件大小为280M,太大了,编辑工具或者数据库工具都打不开会卡死,于是想着,把这个大文件按不同的表数据分割成多个文件,再去执行语句
首先找到分割的点,因为导出的数据库sql文件是按表顺序导出的,每个表都是按创表语句+insert语句去排的,以下面为例,前面是创表语句,后面接insert语句。
根据“DROP TABLE IF EXISTS `tablename`;”,去匹配DROP TABLE IF EXISTS 就能分割文件,按表名去分割这个大的sql文件

- import java.io.*;
-
- public class testMain {
-
- public static String IN_FLIE = "D:\\数据库\\生产数据库\\txyx.sql";
- public static String OUT_FLIE_PATH = "D:\\数据库\\生产数据库\\";
- public static String splitValue = "DROP TABLE IF EXISTS";
-
- public static void main(String[] args) throws IOException {
- //读取被分割的文件
- File file = new File(IN_FLIE);
- if (!file.exists() || (!file.isFile())) {
- System.out.println("文件不存在");
- }
- //用字符流读取文件内容
- BufferedReader bufferedReader = new BufferedReader(
- new InputStreamReader(new FileInputStream(file), "UTF-8"));
- String bufStrLine = null;
- Writer writer = null ;
- //一行一行读取
- while ((bufStrLine = bufferedReader.readLine()) != null) {
- //读到存在对应标识字符串
- if (bufStrLine.contains(splitValue)){
- //不为空,则把上一个文件输出流关闭
- if (writer != null){
- writer.close();
- }
- //创建io输出流,通过分割改行数据获取文件名
- String fileName = OUT_FLIE_PATH+bufStrLine.split("`")[1]+".sql";
- writer = new FileWriter(fileName);
- System.out.println("创建文件"+fileName);
- }
- //写一行数据到输出文件
- if (writer != null){
- writer.write(bufStrLine+"\r\n");
-
- }
- }
- //关闭最后一个输出流
- if (writer != null){
- writer.close();
- }
- System.out.println("文件大小" + file.length());
- }
- }


成功分割,每个文件大小都50M前后,可以在数据库工具中正常执行