如何使用stream-json包在Node.js中的特定位置恢复对大型JSON流的解析？

如何解决如何使用stream-json包在Node.js中的特定位置恢复对大型JSON流的解析？

我很高兴向您展示了如何使用stream-json模块从一个很大的JSON文件中实际解析JSON对象。这是一个非常简单明了的内置方法it turns out！

但是，看着stream-json的Wiki，我看不到在特定对象索引处恢复处理的方法。我怎样才能做到这一点？或更笼统地说，如果没有快速的方法，该如何在纯JSON流或纯gzip压缩的字符串流中的特定位置恢复？

对于背景，我正在解析Wikidata JSON dump，它约为90GB。我在转储items中进行了第一轮解析，以收集每个实体/项目的类，但是由于该过程中某些意外的数据结构 760,000 ，我的解析器崩溃了！ !!谁知道实际上有多少个物品哈哈。但是我已经重新启动了该过程，这次是尝试捕获来跳过不良数据。我最初忘记给它计时，但是这次对它计时大约要花费每1000个项目4秒来解析此JSON流。所以4s * 760 = 3040s大约需要 50分钟，回到我上次离开的地方。这是一个漫长的等待时间，特别是因为当我发现要从此数据中检索的新内容时，我将不得不进行5或10轮解析。因此，我想知道如何跳到崩溃或我停下的地方。

如何使用stream-json来做到这一点？也许有一种方法可以重做StreamArray代码以支持跳转到特定项目。或者，也许我可以以某种方式将原始wikidata/latest-all.json.gz gzip字符串流与stream-json关联，以便可以指向latest-all.json.gz字符串中fs.createReadStream应该开始读取的某个位置？这样的事情。

很想知道如何在某个特定位置恢复。在这种情况下我该怎么办？

我当前的代码本质上是这样的：

const fs = require('fs')
const zlib = require('zlib')
const { parser } = require('stream-json')
const { streamArray } = require('stream-json/streamers/StreamArray')

let input = fs.createReadStream(`./wikidata/latest-all.json.gz`)

input
  .pipe(zlib.createGunzip())
  .pipe(parser())
  .pipe(streamArray())
  .on('data',d => handle(d.value))

function handle(object) {
  // each entity in the json stream
}

对于我来自哪里的上下文，我正在考虑与resuming a wget download with the -c option相同的思路。如果您的互联网因wget下载100GB或一组10,000个文件而中断，那么您基本上可以执行wget -c <url>并继续从上次中断的地方进行操作，而不必重新下载所有内容。我想用JSON流解析器做同样的事情。跳过崩溃或程序退出之前我已经解析的所有实体。

如果没有简单的方法可以做到这一点，我可以使用哪种黑客手段？

实际上，前几千个项目每个花费4秒钟，现在看来，当我们移入流中的后面数据时，它们每个花费0.5-1s，因此30分钟后，我得到了1,271,000个项目。稍微好一点，但仍然需要很长时间。