转载请注明出处：http://blog.csdn.net/dongdong9223/article/details/88579875
本文出自【我是干勾鱼的博客】
Ingredient：
-
Java：Java SE Development Kit 8u162(Oracle Java Archive)，Linux下安装JDK修改环境变量
-
Zookeeper：zookeeper-3.4.12.tar.gz（Zookeeper Download Mirror，ZooKeeper Releases Archive）
之前在Kafka应用实战——Kafka安装及简单使用讲解了Kafka的基本用法，今天来讲解一下使用Kafka在文件之间传递数据。
1 生成source内容
echo -e "foo\nbar" > test.txt
2 交互处理
> bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties
3 查看效果
more test.sink.txt
也可以：
tail -f test.sink.txt
或者查看topic的交互内容：
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic connect-test --from-beginning
topic的交互结果如下：
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic connect-test --from-beginning
{"schema":{"type":"string","optional":false},"payload":"foo"}
{"schema":{"type":"string","optional":false},"payload":"bar"}
4 无数据同步时的处理
如果发现并没有预期的同步效果，可能是offset发生了错误，这时候先将原有topic删除：
./bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic connect-test
然后删除offset记录：
rm -rf /tmp/connect.offsets
然后再重新执行：
> bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties
5 参考
Step 7: Use Kafka Connect to import/export data
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。