如何解决Mirrormaker 2是否需要第三台kafka进行镜像操作?
我在使用mirrormaker 2时遇到问题。
Mirrormaker 2基于Kafka Connect框架,可以将其视为Kafka源连接器和接收器连接器的组合。因此,在MM2架构中,存在源连接器和接收器连接器。但是,MM2中是否有用于连接器的额外Kafka集群?因为在kafka中连接设计;源和宿连接器需要Kafka集群才能移动数据。
例如,MM2需要源群集和目标群集;我的问题是 MM2是否需要第三个kafka来进行镜像操作而无需使用源群集和目标群集?
另一个问题是 MM2连接器可以在分发模式下运行吗?,我没有关于此问题的任何配置?
例如在docker环境中;下面的配置足以在分布式模式下运行MM2吗?
mirrormaker:
image: 'wpietri/mirror-maker:2'
environment:
- SOURCE=source_ip:9092
- DESTINATION=dest_ip:9092
- TOPICS=test-topic
deploy:
replicas: 3
mode: replicated
解决方法
当前MirrorMaker 2是一组Source连接器。
源连接器从外部系统获取记录,并将其交给Kafka Connect运行时,该运行时会将其写入Kafka。
对于MirrorMaker 2,“外部系统”是另一个Kafka群集。因此,MirrorMaker 2只需要2个Kafka群集。一种连接器用于获取记录(称为源群集),另一种用于连接Kafka Connect(称为目标群集)。
MirrorMaker 2连接器和标准Kafka Connect连接器。它们可以以独立或分布式模式直接与Kafka Connect一起使用。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。