如何通过 Java 中的 PrintWriter 将数据以块的形式写入 csv

如何解决如何通过 Java 中的 PrintWriter 将数据以块的形式写入 csv

我有一些正在处理的数据，然后将其保存在 stringbuilder 中以最终写入 csv。

目前，我正在使用处理某些 println 数组而获得的 idData 一次编写整个 stringBuilder。但是我想批量写入，所以也许假设ids的数组数据的长度= 200，我想一次写入50个id的数据。

我该怎么做？

Existing code of writing the entire string builder result

class A {
 private StringBuilder sb;

 public void appendBody(String[] idData) {
   for(String id: idData) {
     Data data = getData(id);
     processData(data);
     
   }
 writeToCsv();
 } 

 public void processData() {

  .. processing that involves populating private property string builder
  // adding some sample data here
  this.sb.append("Name,Phone,Email\n");
  this.sb.append("Glen,1234,[e-mail]\n");
  this.sb.append("John,5678,[e-mail]");

  // end populating string builder
 }

 public String writeToCsv() throws DataNotFoundException {

   String filename = "outputFileNamePath";  // sample filename,modified to be pasted here
   PrintWriter writer;
     try {
         writer = new PrintWriter(new File(filename));
     } catch (FileNotFoundException e) {
         writeLog("ERROR",e.getMessage);
         throw new Exception("Error while creating output file");
     }
     writer.println(this.sb.toString());
     writer.close();
     return filename;
  }
}

一些建议和提示会有所帮助。

PS：请不要对重新抛出的日志消息或异常或变量的名称或任何与我的问题无关的细节发表评论，因为它们已被修改为添加到此处，并请提前原谅我的任何错误！

解决方法

这是您问题的解决方案。

基本思想是控制对 writeToCsv() 的调用（这将等于所需的块大小）并始终以追加模式打开文件

在这里，我使用了 mod 操作来控制对 writeToCsv() 的调用。您可以添加任何符合您的卡盘尺寸要求的逻辑。文本将在 5 次迭代后推送到文件。

另外，以追加模式打开文件使用

FileWriter fileWriter = new FileWriter(filename,true); // Set true for append mode
writer = new PrintWriter(fileWriter);

这是完整的程序。

public class WriteToFileInChunk {
    private static StringBuilder sb = new StringBuilder();

    public static void main(String[] args) throws IOException {
        WriteToFileInChunk writeToFileInChunk = new WriteToFileInChunk();
        writeToFileInChunk.writeInchuncks();
    }

    private void writeInchuncks() throws IOException {
        String[] idData = { "1,","2,"3,"4,"5,"6,"7,"8,"9,"10,"11,"12,"13,"14,"15,"16,"17,"18,"19,"20" };

        for (int i = 0; i < idData.length; i++) {
            StringBuilder data = new StringBuilder(idData[i]);
            sb.append(processData(data));

            if (i % 5 == 0) {
                writeToCsv(sb);
                sb = new StringBuilder();
            }
        }
    }

    private StringBuilder processData(StringBuilder stringBuilder) {
        return stringBuilder.append(System.currentTimeMillis() + ",Name,Phone,Email\n");
    }

    private String writeToCsv(StringBuilder sb) throws IOException {

        String filename = "outputFileNamePath"; // sample filename,modified to be pasted here
        PrintWriter writer;
        try {

            FileWriter fileWriter = new FileWriter(filename,true); // Set true for append mode
            writer = new PrintWriter(fileWriter);
            writer.println(sb.toString());
            writer.close();

        } catch (FileNotFoundException e) {
            System.out.printf("ERROR : %s",e.getMessage());
            new Exception("Error while creating output file",e);
        }
        return filename;
    }
}

,

您需要将 idData 拆分为成批的数组。然后 writeToCsv 处理完每个批次后。 （注意你必须清除 sb）

public void appendBody(String[] idData) {
    for (String[] batch : split(idData,BATCH_SIZE)) {
        sb = new StringBuilder();
        for (String id : batch) {
            Data data = getData(id);
            processData(data);
        }
        writeToCsv();
    }
}

您可以使用以下代码拆分数组：

static List<String[]> split(String[] idData,int batchSize) {
    List<String[]> list = new ArrayList<>();
    for (int i = 0; i < idData.length; i += batchSize) {
        int realBatchSize = Math.min(batchSize,idData.length - i);
        String[] batch = new String[realBatchSize];
        for (int j = 0; j < realBatchSize; j++)
            batch[j] = idData[j + i];
        list.add(batch);
    }
    return list;
}

记得打开文件时使用 APPEND 模式。