本篇文章为大家展示了如何进行flume1.6.0 和kafka整合,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。
一、启动kafka,使用默认配置
①启动zookeeper,bin/-server-start.sh -daemon config/server.properties
②启动kafka:bin/kafka-server-start.sh -daemon config/server.properties
③创建主题:bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic spider
④启动消费者:bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic spider --from-beginning
二、配置flume并启动
flume的详细配置可以看我前面的关于flume的详细配置
将flume(1.6.0,自定义sink会在后面博客补充)的sink改为:
agent1.sinks.log-sink1.channel = ch2
agent1.sinks.log-sink1.type = org.apache.flume.sink.kafka.KafkaSink
agent1.sinks.log-sink1.topic = spider
agent1.sinks.log-sink1.brokerList = 192.168.57.133:9092
agent1.sinks.log-sink1.requiredAcks = 1
agent1.sinks.log-sink1.batchSize = 1
启动flume
三、测试
这里的测试类还是使用上一次log4j整合flume的例子,运行测试类,如果看到下面输出,则表示整合成功
上述内容就是如何进行flume1.6.0 和kafka整合,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注编程之家行业资讯频道。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。