如何解决使用NiFi延迟将文件加载到HDFS中
使用PUTHDFS处理器将数据加载到HDFS中会有一个延迟。压缩后，虽然大小从MB更改为GB，但要在1小时后加载。 请在下面找到样本负载以供参考
878.4 M 2020-09-30 06:00 files_1
1.0 G 2020-09-30 07:00 files_2
1.3 G 2020-09-30 07:30 files_3
.
.
.
1.2 G 2020-10-01 00:30 file_4
1.1 G 2020-10-01 01:00 file_5
935.0 M 2020-10-01 01:01 file_6
893.6 M 2020-10-01 02:00 file_7
如果文件大小有变化，我会看到此延迟。 例如：文件1在6加载，下一个文件应在6:30加载，但是由于文件大小从MB更改为GB，下一个小时加载了文件2。请提供解决方案来解决此问题。>
解决方法
NiFi中有Penalty的概念。这可能是案例。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
