org.apache.kafka.clients.NetworkClient Bootstrap broker (id: -3 rack: null) 在通过 NiFi 连接到 kafka 消费者时断开连接

如何解决org.apache.kafka.clients.NetworkClient Bootstrap broker (id: -3 rack: null) 在通过 NiFi 连接到 kafka 消费者时断开连接

我正在尝试使用 NiFi ConsumeKafka_2_6 处理器（NiFi 版本 1.12.1）在 Amazon MSK（Kafka 版本 2.2.1）上使用来自 kafka 主题的消息。在 ConsumeKafka 处理器中，我收到警告为“org.apache.kafka.clients.NetworkClient [Consumer clientId=console-consumer-34567-5,groupId=nifi-consumer] Bootstrap broker localhost:9092 (id: -1 rack: null) 断开连接"。这个问题的原因是什么？这是由于使用的 kafka 客户端版本不匹配还是由于连接问题。

解决方法

这是一个连接问题或者你配置的 Nifi 处理器不正确

您没有连接到 MSK，您正在尝试将 Nifi 连接到自身

引导代理本地主机：9092

另外，是的，您在使用 2_6 消费者和 2.2 集群时可能会遇到一些问题，但非常小，因为核心功能应该仍然有效

,

在 aws cli 中，我们使用 JVM 信任库与 MSK 集群通信。所以从 NiFi 应用程序我也应该使用它。我已将安全协议配置为 SSL 并在 SSLContextService 中配置了 JVM 信任库。然后我就可以消费来自 Kafka 的消息了。