使用 json2csv

如何解决使用 json2csv

我有一个 nodeJS 应用程序，它使用 json2csv 模块将数据从 MongoDB 集合导出到 CSV 文件。由于记录数量巨大，因此无法将整个数据存储在变量中。所以它从集合中以 1000s 的块为单位进行查询并附加到文件中。

const Json2csvParser = require('json2csv').Parser;
....
const totalCount = await Collection.count(filters);
const limit = 1000;
const totalPages = Math.ceil(totalCount / limit);
const records = [];
logger.info({ totalCount,totalPages },`Total records ${totalCount}`)
for (let page = 0; page < totalPages; page++) {
    const skip = page * limit;
    const data = await Collection.find(filters,{ projection }).skip(skip).limit(limit).toArray();
    logger.info(`Records found in page ${page + 1}/${totalPages}: ${data.length}`)
    const records = data.map(ele => flatten(JSON.parse(JSON.stringify(ele))));

    const headers = getHeaders(records);

    const json2csvParser = new Json2csvParser({ fields: headers,header: page === 0 });
    const csvContent = json2csvParser.parse(records);

    fs.appendFileSync(fileName,csvContent,'utf8');
}

此处 getHeaders 通过展平文档从文档中的键中提取标题。例如，如果数据看起来像这样，

{
  orderId:"111012121",items: [
    {itemId:"BA29322",name:"Item A"},{itemId:"BA29323",name:"Item B"}
  ],value: 1000
}

然后标题看起来像这样

"orderId","items.0.itemId","items.0.name","items.1.itemId","items.1.name","value"

现在的问题是标题的数量取决于在块的 items 属性中找到的最大元素数量。即，如果在前 1000 条记录的 items 中找到的最大元素数为 2，则标题将如上所示。但是如果它在下一组 1000 条记录中是 3，那么它看起来像下面

"orderId","items.2.itemId","items.2.name","value"

这意味着数据未显示在正确的标题下，如下所示。

我该如何处理。请原谅我的冗长问题。