微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何将NiFi处理器错误转换为Flowfile属性?

如何解决如何将NiFi处理器错误转换为Flowfile属性?

我有一个PutGCSObject处理器,想要将其捕获到流文件属性中。

enter image description here

如图所示,当处理器出现错误时,它会按原样发送所有先前存在的属性而失败。

enter image description here

我希望错误消息作为属性属于同一流文件。我该如何实现?

解决方法

有一种切实可行的方法。 这是我的方法:

1-我将所有ERROR连接路由到主“监视进程组”

2-这是我的“监视过程组” enter image description here更新属性中,我将文件名捕获为初始文件名

然后在下一步中,我“ 查询”公告 enter image description here

然后我将输出解析为单独的属性。

获得已解析的项目符号输出后,我使用RouteOnAttribute proc删除所有不需要的项目公告(其中一些我已经使用过并已得到通知)。 enter image description here

一旦我只剩下我的实际错误公告-我使用ExecuteStreamingCommand使用nipyapi模块运行python脚本以获取有关该错误的更多信息,例如它在我的流程中的位置,hierrachy,对失败的处理程序的描述,一些proc统计信息,还有关于每个proc /进程组的元数据目录,其中包含他们的保管人和商务用例。 然后将这些数据发布到sumologic进行日志记录,并且我还会触发一系列通知(使用Slack + PagerDuty挂钩创建事件生命周期)。

我希望这会有所帮助

,

没有通用的方法将错误消息附加为流文件属性。另外,我们倾向于强烈避免类似的事情,因为这样可能会使错误消息和敏感数据泄露给可能未被授权查看这些详细信息的用户。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。