微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Mirrormaker 2是否需要第三台kafka进行镜像操作?

如何解决Mirrormaker 2是否需要第三台kafka进行镜像操作?

我在使用mirrormaker 2时遇到问题。

Mirrormaker 2基于Kafka Connect框架,可以将其视为Kafka源连接器和接收器连接器的组合。因此,在MM2架构中,存在源连接器和接收器连接器。但是,MM2中是否有用于连接器的额外Kafka集群?因为在kafka中连接设计;源和宿连接器需要Kafka集群才能移动数据。

例如,MM2需要源群集和目标群集;我的问题是 MM2是否需要第三个kafka来进行镜像操作而无需使用源群集和目标群集

一个问题是 MM2连接器可以在分发模式下运行吗?,我没有关于此问题的任何配置?

例如在docker环境中;下面的配置足以在分布式模式下运行MM2吗?

mirrormaker:
    image: 'wpietri/mirror-maker:2'
    environment:
      - SOURCE=source_ip:9092
      - DESTINATION=dest_ip:9092
      - TOPICS=test-topic
    deploy:
      replicas: 3
      mode: replicated

解决方法

当前MirrorMaker 2是一组Source连接器。

源连接器从外部系统获取记录,并将其交给Kafka Connect运行时,该运行时会将其写入Kafka。

对于MirrorMaker 2,“外部系统”是另一个Kafka群集。因此,MirrorMaker 2只需要2个Kafka群集。一种连接器用于获取记录(称为源群集),另一种用于连接Kafka Connect(称为目标群集)。

MirrorMaker 2连接器和标准Kafka Connect连接器。它们可以以独立或分布式模式直接与Kafka Connect一起使用。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。