微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Apache Flink 延迟处理某些事件

如何解决Apache Flink 延迟处理某些事件

我需要延迟处理某些事件。

例如。我有三个事件(在 Kafka 上发布):

  • A (id: 1,retryAt: Now)
  • B(id:2,retryAt:10 分钟后)
  • C (id: 3,retryAt: Now)

我需要立即处理记录A和C,而记录B需要在十分钟后处理。 这在 Apache Flink 中是否可行?

到目前为止,无论我研究了什么,似乎“触发器”可能有助于在 Flink 中实现它,但还没有能够正确实现它。

我也查看了 Kafka 文档,但在那里看起来不可行。

解决方法

触发器适用于窗口,但窗口似乎不适合您的用例。

更好的解决方案是使用带有 KeyedProcessFunction 的计时器。根据您是要等待 10 分钟的处理时间还是 10 分钟的事件时间,您可以选择处理时间计时器或事件时间计时器。

您还需要使用 Flink 状态来存储稍后需要处理的事件。

您将找到流程函数 here 的文档。 Flink 训练中还有一些额外的例子,herehere

FWIW,Flink 的 Stateful Functions API 可能更适合您的工作,在这种情况下您可以使用 delayed messages

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。