如何解决火花流:我可以使用没有聚合的窗口吗?
我正在尝试做这样的事情
df = //readstream
df.window($"ts_col","5 minutes")
.writeStream
.format("console")
.trigger(Trigger.ProcessingTime("60 seconds"))
.foreachBatch({ (batchDF: DataFrame,batchId: Long) => {
batchDF.rdd.map(
t => println(t) )
}})
.start()
我了解我将需要在groupBy函数中使用window函数。有没有一种方法可以不使用聚合函数来对数据进行窗口处理?我要做的就是每60秒获取最近5分钟的记录并按原样打印。
谢谢。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。