微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何在Flink中执行带有更新的多个窗口聚合?

如何解决如何在Flink中执行带有更新的多个窗口聚合?

我有一个用例,其中我正在接收包含不同信息集的事件流,并希望对其进行聚合。对于每种聚合,都需要多个滚动窗口,例如:每日,每周,每月,每年等。
聚合最初是所见计数的基本加法,但后来可能是跨这些事件的一些分析/联接处理。因此,如果事件A每天发生一次,事件B每周发生一次,结果将是这样的:

num

该用例仅在滚动窗口周围而不是滑动窗口周围,我正在研究如何实现此用例。主要问题是我不想等到窗口结束后才想每10分钟左右接收一次更新。
我看了一下flink,有一些方法可以做到这一点,例如使用ProcessWindow函数,增量聚合,流切片,广播状态等。但是由于我对flink很陌生,所以我不确定要做什么使用,如果有任何陷阱,我会丢失。

如果有人可以帮助我,那将很棒。

解决方法

在Flink上实现Windows的选择是

  1. Flink SQL
  2. DataStream窗口API
  3. ProcessFunction

我认为您不需要每10分钟产生一次更新就适合SQL。

对于Window API,内置的TimeWindow窗口分配器不支持月份和年份,并且每10分钟更新一次产品的要求需要自定义触发器。只要付出足够的努力,您就可以克服这些限制,但我认为这不值得。

我将改用ProcessFunction来实现。 Flink文档中嵌入的培训具有an example of how to use a process function to implement tumbling time windows,您可以以此为起点。扩展该示例以满足您的要求应该不是很困难。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。