微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何将带有水槽的关键,有价值的消息发送给kafka生产者

如何解决如何将带有水槽的关键,有价值的消息发送给kafka生产者

在控制台中,您添加了生产者属性--property "parse.key=true" --property "key.separator=:",以将键值数据生成到Kafka中,但是如何使用flume做到这一点呢?我试图添加

a1.sinks.k1.producer.parse.key=true 
a1.sinks.k1.producer.key.separator=:

在.conf文件中,但无济于事,kafka将密钥视为字符串。

解决方法

这些是控制台生产者CLI参数,而不是Kafka的ProducerConfig属性(传递给Flume)

键始终是一个字符串,但是您需要通过Flume记录的标题传递它

https://github.com/apache/flume/blob/trunk/flume-ng-sinks/flume-ng-kafka-sink/src/main/java/org/apache/flume/sink/kafka/KafkaSink.java#L193

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。