微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

kafka python没有收到来自golang生产者的消息

如何解决kafka python没有收到来自golang生产者的消息

我正在使用 segmentio-go 通过 golang 发布消息。我想使用我尝试过 kafka-pythonpykafka 的 python 阅读这些消息。
在所有这些库中,我无法接收消息,通过在 golang 端创建消费者,我可以在从 golang 读取消息时读取消息。而且当我通过 python 发布消息时,我能够从 python 消费者和 golang 消费者读取它,但是那些通过 golang 发布消息的主题,python 端的消费者完全挂起/卡住,代码没有不崩溃但也不响应。

在python消费者中,我能够获取broker及其主题,仅针对通过golang发布消息的主题,python消费者被挂起。

Python 消费者代码

consumer = KafkaConsumer(<topic name>,bootstrap_servers=[<ip:port>],auto_offset_reset='earliest',group_id=None,max_partition_fetch_bytes=104857600) 
print(consumer.topics()) # Able to get all topic names

for message in consumer:
    print(message.value)

Golang Producer 代码

l := log.New(os.Stdout,"kafka framer: ",0)

w := kafka.NewWriter(kafka.WriterConfig{
   brokers: []string{broker_address},Topic:   topic_name,Logger: l,})

err := w.WriteMessages(ctx,kafka.Message{
        Key: []byte(strconv.Itoa(0)),Value: []byte(data),})

if err != nil {
   panic("Could not write message " + err.Error())
}

请帮忙。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。