微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

为Azure Kafka配置灾难恢复和自动故障转移吗?

如何解决为Azure Kafka配置灾难恢复和自动故障转移吗?

我们的kafka在运行于美国东部的Azure HDInsight上运行,而按地区划分的热点是美国西部。

如何配置Azure HDInsight以通过自动故障转移支持灾难恢复?会影响连接字符串吗?

解决方法

Azure HDInsight具有独特的体系结构,可确保关键服务的高可用性(HA)。此体系结构的某些组件由Microsoft开发,以提供自动故障转移。其他组件是标准的Apache组件,它们被部署为支持特定的服务。

article解释了HDInsight中HA服务模型的体系结构,HDInsight如何支持HA服务的故障转移以及从其他服务中断中恢复的最佳实践。

对于Azure HDInsight Kafka群集,可以使用Kafka的镜像功能在Azure HDInsight上使用Kafka复制Apache Kafka主题。

什么是卡夫卡镜像?

Kafka的镜像功能使维护现有Kafka群集的副本成为可能。

Apache Kafka镜像如何工作?

通过使用MirrorMaker工具(Apache Kafka的一部分)来进行镜像工作,以使用主群集上主题的记录,然后在辅助群集上创建本地副本。 MirrorMaker使用一个(或多个)从主群集读取的使用者,以及一个写入本地(辅助)群集的使用者。

对于灾难恢复而言,最有用的镜像设置是利用不同Azure区域中的Kafka群集。为此,将群集所在的虚拟网络对等连接在一起。

下图说明了镜像过程以及群集之间的通信流:

enter image description here

有关更多详细信息,请参见Use MirrorMaker to replicate Apache Kafka topics with Kafka on HDInsightBig data streaming: Choices for high availability and disaster recovery on Microsoft Azure

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。