微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

在StormCrawler中,是否有任何系统的方法可以打开或关闭某些Bolt?

如何解决在StormCrawler中,是否有任何系统的方法可以打开或关闭某些Bolt?

我已经开发了一个StormCrawler项目,该项目在该拓扑中具有多个其他Bolt。我的抓取工具应该可以7 X 24正常工作,而无需停机。因此,我无法重新启动搜寻器并更改拓扑配置。我想在运行时绕过(打开或关闭)一些螺栓。在运行时在StormCrawler中禁用和启用某些Bolt的最佳方法是什么?

谢谢

解决方法

没有开箱即用的方法,因此您必须实现在螺栓本身中打开/关闭调整螺栓的逻辑。

如果您需要刷新其配置,则可以实现动态机制。例如,将螺栓的配置存储在例如弹性索引中,然后定期重新加载该配置。

我们已经有了JSONURLFilterWrapperParseFilter的类似内容。我们可以有一个抽象的,由ES支持的动态可配置螺栓。如果您认为有兴趣甚至更好,请在GitHub上开放一个问题,贡献一份PR;-)

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。