微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

在Spark Streaming中为MQTT创建自定义接收器

如何解决在Spark Streaming中为MQTT创建自定义接收器

我需要使用通过MQTT broker从IoT设备获得的数据上的火花进行分析。我的Spark作业与MQTT代理之间的连接是可以在其中订阅特定主题的。我已经在spark中使用MQTTUtils库连接到代理,但是我对该库的内部工作方式有疑问。我注意到的是,“ MQTTutils.createStream”连接到主题的MQTT代理。在这种情况下,如果我必须在MQTT代理中订阅100个主题,则它可能会建立与代理的100个连接。在实际情况下,这是不希望的。请让我知道它是否不能按照我的方式工作。

因此,我决定为MQTT代理创建自定义接收器,以便可以在MQTT客户端中管理连接。我已经阅读了有关如何实现自定义接收器的文档,但是我没有以正确的方式成功实现它。

如果有人亲自操作了这样的自定义接收器,请帮助我使其生效。

感谢您的支持,因为这对我的解决方案至关重要

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。