如何解决如何在一个 flink 任务中使用两个单独的 kerberos 认证的 kafka 消费和发送数据
我在一个 flink 作业中有两个单独的 Kerberos kafka 数据流。从一个 Kafka 集群读取源数据流,然后将其发送到另一个。Kerberos 不相互信任。 Flink 能否完成这个任务? 提前致谢。
解决方法
在krb5.conf的realms域下添加两个Kerberos域:
[realms]
HADOOP1.COM = {
kdc = 172.20.18.1
admin_server = 172.20.18.1
}
HADOOP2.COM = {
kdc = 172.20.8.1
admin_server = 172.20.8.1
}
为Kafka客户端添加SASL属性:
Properties prop = new Properties();
prop.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG,"172.20.12.3:9092");
prop.setProperty(SaslConfigs.SASL_MECHANISM,"GSSAPI");
prop.setProperty(CommonClientConfigs.SECURITY_PROTOCOL_CONFIG,"SASL_PLAINTEXT");
prop.setProperty(SaslConfigs.SASL_KERBEROS_SERVICE_NAME,"kafka");
// Dynamically configure the value of Keytab
prop.setProperty(SaslConfigs.SASL_JAAS_CONFIG,"com.sun.security.auth.module.Krb5LoginModule required\n" +
" useKeyTab=true\n" +
" storeKey=true\n" +
" keyTab=\"1-kafka-client.keytab\"\n" +
" principal=\"kafka-client/172.20.12.3@HADOOP1.COM\";");
当然也可以通过Kerberos集群互信实现多集群访问。
这是Kerberos集群互信配置方法:
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。