微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

JFLEX 词法分析器作为 akka 流源

如何解决JFLEX 词法分析器作为 akka 流源

我使用 jflex 词法分析器来解析大文件(~150 GB)。随着解析的进行,从文件提取并作为参数传递给外部方法的小文档。如果可能,我想将这些文档用作 Akka 流的 Source,以便在正确管理背压的同时进一步转换并最终存储它们。

我阅读了队列,所以我使用了以下内容

val queue = Source
  .queue[String](bufferSize,akka.stream.OverflowStrategy.backpressure) 
  ...

方法一起推送

def push(document: String): Unit = queue.offer(document)

每次找到文档时,Lexer 都会调用它。

这是要走的路还是有更好(我的意思是更强大)的解决方案?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。