判定迟到时间:
watermark在算子之间的传播:
每个Operator上有对应的Event-time,这个其实是一个TimeService,这个TimeService标记出来当前算子的一个时钟。
watermark最好在Source Operator就进行设置,且最好Source Operator的并行度为1.
watermark的生成依赖于事件时间的更新(出现更大的事件时间)
watermark生成之后会随着数据(streamElement)一起通过上游的算子会发送给下游的算子,watermark会被当成一种特殊的事件,这个特殊事件是会伴随着整个数据处理流程,一直发送到下游的算子中,一直到更新最终的算子中
当source operator产生了watermark之后,发送给下游的算子之后,会更新算子的时钟。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。