如何将一个目录下的所有文件，合并成一个文件

川长思鸟来 2022-07-16 07:58 173阅读 0赞

在上一篇文章讲到([http://blog.csdn.net/qy20115549/article/details/52784986][http_blog.csdn.net_qy20115549_article_details_52784986])：在处理文本时，经常遇到超过1g存储的数据，直接简单的读取，可能遇到Java空间不足的问题，为解决此问题，**可将大文本数据按照行进行切分为很多块，并将每一块存储为一个文本。**然后单独去操作每一个小文本，比如，我所做的**分词**，便是利用此原理。所要分词的文本是几个G，所有我将这样一个大文本切割成一个一个的小文本，接着对**每个小文本进行分词。**

在对每一个小文本进行分词后，得到的文本，我想要进行词频的统计并排序,就需要将一个个的小文本合并成一个文本，进行WordCount([http://blog.csdn.net/qy20115549/article/details/52784926][http_blog.csdn.net_qy20115549_article_details_52784926])

那么，如何将某一目录下的所有文本，合并成为一个文本呢？以下是一个java实现文本合并的程序，仅供大家参考：

import java.io.BufferedReader;
    import java.io.BufferedWriter;
    import java.io.File;
    import java.io.FileInputStream;
    import java.io.FileOutputStream;
    import java.io.IOException;
    import java.io.InputStreamReader;
    import java.io.OutputStreamWriter;
    import java.util.ArrayList;
    import java.util.List;
    /* * author:合肥工业大学 管院学院 钱洋 *1563178220@qq.com */
    public class TextConbine { 
        public static void main(String[] args) throws IOException{
            BufferedWriter writer = new BufferedWriter( new OutputStreamWriter( new FileOutputStream(new File("D:\\钱洋个人\\学术中心\\数据处理\\user_content_qianyang_split.txt")),"utf-8"));
            String filePath = "D:/钱洋个人/学术中心/数据处理/文本分词2";
            List<string> fileList = new ArrayList<string>();
            fileList= getFiles(filePath);
            for (String file:fileList) {
                BufferedReader reader = new BufferedReader( new InputStreamReader( new FileInputStream( new File(file)),"utf-8"));
                String s=null;
                while ((s=reader.readLine())!=null) {
                    writer.append(s);
                }
            }
    
            writer.close();
        }
        static List<string> getFiles( String filePath )
        {
            List<string> filelist = new ArrayList<string>();
            File root = new File( filePath );
            File[] files = root.listFiles();
            for ( File file : files )
            {
                if ( file.isDirectory() )
                {
                    getFiles( file.getAbsolutePath() );
                    filelist.add( file.getAbsolutePath() );
                    //System.out.println( "显示" + filePath + "下所有子目录及其文件" + file.getAbsolutePath() );
                }else{
                    filelist.add( file.getAbsolutePath() );
                    //System.out.println("显示" + filePath + "下所有子目录" + file.getAbsolutePath() );
                }
            }
            return filelist;
        }
    
    }

[http_blog.csdn.net_qy20115549_article_details_52784986]: http://blog.csdn.net/qy20115549/article/details/52784986
[http_blog.csdn.net_qy20115549_article_details_52784926]: http://blog.csdn.net/qy20115549/article/details/52784926