如何解决NiFi MergeContent未处理流文件
我有几个Nifi流使用卡夫卡的数据,然后将其写入HDFS。在HDFS上进行写入之前,我们使用MergeContent
合并流文件并写入更大的消息(有点像批处理)。
对于其中的两个流,MergeContent
似乎没有处理流文件:流文件在MergeContent
处理器之前停留在队列中。我尝试修改Max Bin Age
参数,以及“最大和最小条目数”,它没有任何改变。流文件停留在队列中的时间远远超过max bin age
。
以下是MergeContent
属性的屏幕截图:
这也是队列的屏幕截图。您可以看到至少最近5分钟没有任何处理。您还可以看到某些流文件确实合并了,当我第一次启动时,流工作正常,大约10分钟后问题就出现了。
知道可能是什么问题吗?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。