如何解决我可以从在另一个 Kerberized 集群中运行的 spark 连接到 Kerberized Kafka 吗?
我正在尝试将一些记录放入 kerberized 的 Kafka 集群中,该集群来自在另一个 Kerberized 集群(不同域)中运行的 Spark 进程。我认为问题在于尝试逐条读取 spark 记录中的数据集并将它们放入 kafka(因此需要与两个集群保持活动连接)。请帮忙。
我尝试在运行时使用 System.setProperty() 使用 jaas 文件设置 VM 属性 -Djava.security.auth.login.config,其中主体和密钥表对应于 kafka 集群,但没有成功。
在使用 spark2-submit 提交 spark 进程之前,我需要使用 Hadoop 集群对应的 keytab 进行 kinit,以便 spark 进程运行。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。