微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

火花流:我可以使用没有聚合的窗口吗?

如何解决火花流:我可以使用没有聚合的窗口吗?

我正在尝试做这样的事情

df = //readstream

df.window($"ts_col","5 minutes")
.writeStream
.format("console")
.trigger(Trigger.ProcessingTime("60 seconds"))
.foreachBatch({ (batchDF: DataFrame,batchId: Long) => {
  batchDF.rdd.map(
     t => println(t) )
   }})
.start()

我了解我将需要在groupBy函数中使用window函数。有没有一种方法可以不使用聚合函数来对数据进行窗口处理?我要做的就是每60秒获取最近5分钟的记录并按原样打印。

谢谢。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。