微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

NiFi MergeContent未处理流文件

如何解决NiFi MergeContent未处理流文件

我有几个Nifi流使用卡夫卡的数据,然后将其写入HDFS。在HDFS上进行写入之前,我们使用MergeContent合并流文件并写入更大的消息(有点像批处理)。

对于其中的两个流,MergeContent似乎没有处理流文件:流文件MergeContent处理器之前停留在队列中。我尝试修改Max Bin Age参数,以及“最大和最小条目数”,它没有任何改变。流文件停留在队列中的时间远远超过max bin age

以下是MergeContent属性的屏幕截图:

Merge Content Properties

Merge Content Scheduling Properties

这也是队列的屏幕截图。您可以看到至少最近5分钟没有任何处理。您还可以看到某些流文件确实合并了,当我第一次启动时,流工作正常,大约10分钟后问题就出现了。

Nifi queue

知道可能是什么问题吗?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。