如何解决使用 Google Dataflow Runner 实现 KafkaIO 检查点持久性
我试图了解偏移量和组管理如何与带有 KafkaIO 阅读器的 Google Dataflow 运行器配合使用。更具体地说，我试图了解偏移管理的工作原理：
- 如果设置了 group.id 配置并且禁用了自动提交和 commitOffsetsInFinalize。
- 如果没有设置 group.id 配置，偏移量和组管理如何工作？
感谢任何指向正确方向的代码/文档参考。
解决方法
KafkaIO 阅读器完全是 Apache Beam 的一部分。 Google Cloud Dataflow 不会将此来源与任何其他 Beam 来源区别对待。
您可以在 https://github.com/apache/beam/tree/master/sdks/java/io/kafka/src/main/java/org/apache/beam/sdk/io/kafka（在各种文件中）找到它的代码。除了 Javadoc 之外，我不知道任何参考文档。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
