微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何手动比较火花窗口结果

如何解决如何手动比较火花窗口结果

在火花结构流式传输(版本2.3.2)中使用window函数之后,是否仍然可以手动比较不同的行?还是我可以直接访问状态存储?

我想做的是每10分钟对Kafka的事件量进行一次窗口计数和计数,然后我想比较每个窗口完成后不同时间窗口的计数,以检查该量历史。

我试图利用foreach编写器,但似乎每次调用只会获得每一行。 我也尝试过自定义接收器来执行此操作,但是在访问内部的RDD时遇到了很多问题...

那么有没有更简单的方法可以进行这种比较?

我实际上也实现了一个mapGroupsWithState一起使用的版本,但是它需要考虑很多window函数中应该涵盖的细节。因此,我正在尝试查看是否还有一种更优雅的方法

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。