如何解决如何正常关闭 Apache Beam 管道
我有一个在 Spark 上运行的 Apache Beam 管道。管道从 Kafka 主题 (KafkaIO) 读取并写入文件 (FileIO)。我经常需要停止管道并更新一些外部参数。这会导致一些数据丢失。有没有办法优雅地关闭管道？各种消耗，以避免数据丢失。
我在 github (https://github.com/apache/beam/pull/12287/files) 中看到过这个 MR，但我似乎无法理解如何使用它。任何帮助将不胜感激
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
