如何解决NiFi:使用HDFS文件作为查找
我需要在NiFi作业中使用HDFS文件作为查找。这个HDFS文件包含两个字段ID,名称和我需要通过我的流程传递IDS并从HDFS文件中检索名称。我的HDFS文件为镶木地板活泼格式。您能否让我知道我可以通过查找处理器实现这一目标还是应该采用其他方法?
任何示例工作流程都将真正有用。
先谢谢大家。
库马尔
解决方法
作为查找的HDFS确实效率很低,这很可能就是为什么我们没有为其提供控制器服务的原因。您在哪里获取要进行查找的文件?也许相反,您可以使用NiFi获取HDFS文件并执行“反向查找”,在其中您可以使用要进行查找的内容丰富HDFS文件?
话虽如此,NiFi确实具有HBase查找服务,所以另一种选择是将HDFS文件放入HBase中并以此方式进行查找。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。