微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

rd_kafka_consumer_poll() 大多数情况下返回 null

如何解决rd_kafka_consumer_poll() 大多数情况下返回 null

我使用 https://github.com/edenhill/librdkafka/blob/master/examples/consumer.c 中的 consumer.c 没有任何更改并将其作为 ./consumer broker groupid topicname 执行,rd_kafka_consumer_poll 大部分时间返回 null(某些 groupid 值除外),即使kafka 集群中存在数据。我会理解是否有一些调用返回 null,但我不明白为什么它总是为 null。

我尝试将轮询超时从 100ms 增加1000ms,它仍然没有任何区别并且一直返回 null。但是在某些随机 groupid 值下,它确实从集群中获取所有数据。在重复运行时,我必须不断将 groupid增加随机值,以便消费者获取数据。

  1. 这是 rd_kafka_consumer_poll 的预期行为吗?或者我在实施中有什么需要改变的

  2. 是否有一个函数可以从 kafka 集群中获取主题及其分区,并仅请求给定集群和分区的数据。我看过像 rd_kafka_consume_start()rd_kafka_consume() 这样的函数,但所有这些都需要 rd_kafka_topic_t *rkt。我们如何为集群上已存在的主题获取或构建 rd_kafka_topic_t

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。