如何解决Flink-Kafka Flink 作业在启动期间读取 kafka 记录并且在 AWS-KDA 上启动失败
在 KDA 上运行 Flink-Beam 作业 (kakfa --> flink(beam) --> ElasticSearch) 简单的作业不会在 KDA 上启动并进入无限循环。 AWS KDA Support 回复说 Job 在启动期间读取记录，这是导致失败的原因。
应用的 dockerized 版本在 kubernetes 中有 3 个任务管理器时运行流畅，但在 KDA 上则不然。 由于 KDA 有 2 分钟的超时时间才能开始作业。
据我了解，Flink 是在工作开始后开始读取记录，我如何将启动时间缩短到 2 分钟以内，因为该工作是非常基本的从 kafka 读取记录并存储到 ES。
解决方法
我解决了这个问题，基本上 Beam 默认使用直接转轮。
设置 --runner=FlinkRunner 以将您的工作作为 flink 工作开始很重要。
否则工作就是无限循环读取kafka主题。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
