如何解决kafka python没有收到来自golang生产者的消息
我正在使用 segmentio-go 通过 golang 发布消息。我想使用我尝试过 kafka-python、pykafka 的 python 阅读这些消息。
在所有这些库中,我无法接收消息,通过在 golang 端创建消费者,我可以在从 golang 读取消息时读取消息。而且当我通过 python 发布消息时,我能够从 python 消费者和 golang 消费者读取它,但是那些通过 golang 发布消息的主题,python 端的消费者完全挂起/卡住,代码没有不崩溃但也不响应。
在python消费者中,我能够获取broker及其主题,仅针对通过golang发布消息的主题,python消费者被挂起。
Python 消费者代码:
consumer = KafkaConsumer(<topic name>,bootstrap_servers=[<ip:port>],auto_offset_reset='earliest',group_id=None,max_partition_fetch_bytes=104857600)
print(consumer.topics()) # Able to get all topic names
for message in consumer:
print(message.value)
Golang Producer 代码
l := log.New(os.Stdout,"kafka framer: ",0)
w := kafka.NewWriter(kafka.WriterConfig{
brokers: []string{broker_address},Topic: topic_name,Logger: l,})
err := w.WriteMessages(ctx,kafka.Message{
Key: []byte(strconv.Itoa(0)),Value: []byte(data),})
if err != nil {
panic("Could not write message " + err.Error())
}
请帮忙。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。