如何解决如何手动比较火花窗口结果
在火花结构流式传输(版本2.3.2)中使用window
函数之后,是否仍然可以手动比较不同的行?还是我可以直接访问状态存储?
我想做的是每10分钟对Kafka的事件量进行一次窗口计数和计数,然后我想比较每个窗口完成后不同时间窗口的计数,以检查该量历史。
我试图利用foreach编写器,但似乎每次调用只会获得每一行。 我也尝试过自定义接收器来执行此操作,但是在访问内部的RDD时遇到了很多问题...
那么有没有更简单的方法可以进行这种比较?
我实际上也实现了一个与mapGroupsWithState
一起使用的版本,但是它需要考虑很多window
函数中应该涵盖的细节。因此,我正在尝试查看是否还有一种更优雅的方法。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。