微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

MiNiFi 到 NiFi S2S 负载均衡不起作用

如何解决MiNiFi 到 NiFi S2S 负载均衡不起作用

我已阅读以下问题:

https://community.cloudera.com/t5/Support-Questions/MiNiFi-to-NiFi-S2S-load-balancing-does-not-work/td-p/310664

但在我已经实施的情况下,站点站点不会平衡来自 MiNiFi 的传入流。 这是我的场景: 我有一个有 4 个节点的 NiFi 集群。在 MiNiFi 设置中,我已将远程进程组 URL 设置为已在 nifi.properties 中设置的 nifi.remote.input.host。 虽然所有节点都打开了1026端口用于接收数据,但是当我使用tcpdump命令时,可以看到只有我上面提到的节点的主机在接收数据,集群中的其他节点没有接收任何数据。

Nifi 版本:1.8.0

MiNiFi 版本:0.5.0 java

评论

我有一个 4 节点集群。在 NiFi 方面,我停止了 nifi.input.remote.host 带有“”“主机名”“”的节点,但在 MiNiFi 方面,我收到以下错误: 2021-02-02 10:03:18,105 警告 [NiFi 站点站点连接池维护] o.apache.nifi.remote.client.PeerSelector 无法与 """Hostname"""":1026 通信以确定哪些节点存在于远程 NiFi 集群中,由于 java.net.ConnectException:连接被拒绝 2021-02-02 10:03:18,105 警告 [NiFi 站点站点连接池维护] o.apache.nifi.remote.client.PeerSelector org.apache.nifi.remote.client.PeerSelector@649b3ed4 无法刷新远程由于无法与远程 NiFi 集群通信以确定远程集群中存在哪些节点,组的对等方 2021-02-02 10:03:23,155 错误 [NiFi 站点站点连接池维护] oanrio.socket.ssl.SSLSocketChannel org.apache.nifi.remote.io.socket.ssl.SSLSocketChannel@4f8aa02f 连接失败由于 {} java.net.ConnectException: 连接被拒绝

我还检查了重负载情况,但是当“”“主机名”“”的负载很高时,也不会发生负载平衡。 我使用SSL进行通信,S2S使用原始传输协议,并且在MiNiFi端的远程进程组中为URL设置了“”“Hostname”“”。

解决方法

你有一个非常非常旧的版本。 Apache NiFi 现在是 1.12.1 版。 Cloudera 提供了更新的 MiNiFi 代理。我怀疑是一个旧错误。

如有疑问,请重新启动。是否有网关、路由器或防火墙挡路,某些网络可能会导致网络流量出现问题。

此外,如果您的环境出现问题,您也不必使用 S2S。我偏爱使用 ListenHTTP,它可以很好地扩展且更可控。

https://pierrevillard.com/tag/apache-minifi/

EFM 使构建和部署更容易。 https://www.datainmotion.dev/2019/05/cloudera-edge-management-introduction.html

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。