如何解决使用 apache_nifi 删除从数据库移动到 hdfs 的重复文件
我在使用 apache nifi 时遇到问题，我想将数据从数据库移动到 hdfs。当我移动它时，我有一个表年份和一列，我发现很多文件包含相同的表年份。 我必须做些什么才能删除重复的文件 我已经使用了 updateattribute 处理器，但我不知道如何使用它来解决问题 enter image description here
this pic show the duplicated files with the same content in hdfs directory
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
