如何解决使用外部和内部侦听器以及对外部发布/订阅的SASL身份验证配置Apache KAFKA
我想使用2个侦听器来配置Kafka身份验证(现在仅需要身份验证就不需要加密):
- 一个用于使用PLAINTEXT安全性进行经纪人间私人通信的工具
- 一个用于与消费者/生产者进行SASL_PLAINTEXT和SCRAM-SHA-256公共通信的
我有一个Kafka集群,只有一个代理(用于测试),而Zookeeper集群有2个节点
我已经完成的步骤是:
- 在zookeeper上创建“管理员”和“测试用户”用户
kafka-configs.sh --zookeeper zk:2181 --alter --add-config 'SCRAM-SHA-256=[iterations=8192,password=test-secret]' \
--entity-type users --entity-name test-user
kafka-configs.sh --zookeeper zk:2181 --alter --add-config 'SCRAM-SHA-256=[password=admin-secret]' \
--entity-type users --entity-name admin
- 如下配置服务器属性:
############################# Server Basics #############################
broker.id=1
############################# Socket Server Settings #############################
listeners=EXTERNAL://0.0.0.0:9095,INTERNAL://:9092
advertised.listeners=EXTERNAL://172.20.30.40:9095,INTERNAL://:9092
listener.security.protocol.map=INTERNAL:PLAINTEXT,EXTERNAL:SASL_PLAINTEXT
inter.broker.listener.name=INTERNAL
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
sasl.enabled.mechanisms=PLAIN,SCRAM-SHA-256
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
############################# Log Basics #############################
log.dirs=/opt/kafka/logs
num.partitions=1
num.recovery.threads.per.data.dir=1
delete.topic.enable=false
auto.create.topics.enable=true
default.replication.factor=1
############################# Log Flush Policy #############################
#log.flush.interval.messages=10000
#log.flush.interval.ms=1000
############################# Log Retention Policy #############################
log.retention.hours=168
#log.retention.bytes=1073741824
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
log.cleaner.enable=true
############################# Offset Retention #############################
offsets.retention.minutes=1440
############################# Connect Policy #############################
zookeeper.connect=10.42.203.74:2181,10.42.214.116:2181
zookeeper.connection.timeout.ms=6000
- 创建一个文件kafka_server_jaas.conf并在启动过程中使用以下命令将其传递给kafka -Djava.security.auth.login.config = / opt / kafka / config / kafka_server_jaas.conf
internal.KafkaServer {
org.apache.kafka.common.security.plain.PlainLoginModule required
username="admin"
password="admin-secret";
};
external.KafkaServer {
org.apache.kafka.common.security.scram.ScramLoginModule required;
};
- 创建要发布/订阅的测试主题
kafka-topics.sh --create --zookeeper zk:2181 --replication-factor 1 --partitions 3 --topic test-topic
- 创建一个client-secure.properties文件以使用测试用户及其凭据进行发布:
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required \
username="test-user" \
password="test-secret";
security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
- 最后尝试使用EXTERNAL侦听器向以前使用“ test-user”创建的身份验证的“ test-topic”发布
kafka-console-producer.sh --broker-list 172.20.30.40:9095 --topic test-topic
--producer.config client-secure.properties
我总是收到以下错误:
ERROR [Producer clientId=console-producer] Connection to node -1 failed authentication due to:
Client SASL mechanism 'SCRAM-SHA-256' not enabled in the server,enabled mechanisms are [PLAIN]
(org.apache.kafka.clients.NetworkClient)
为什么服务器上未启用SCRAM-SHA-256机制?不应使用'server.properties'文件上的'sasl.enabled.mechanisms = PLAIN,SCRAM-SHA-256'属性以及在上定义的外部侦听器配置上使用scram配置来启用它'kafka_server_jaas.conf'文件?
我已经连续使用了2天,使用这种不同的配置,但没有成功。任何帮助将不胜感激
预先感谢
解决方法
经过几天的努力,我找到了解决方案。
我在帖子中没有提到我在Rancher中将KAFKA作为容器运行,并且EXTERNAL侦听器的端口9095没有在Rancher中进行映射,所以也没有在docker容器中。
尽管我没有在您要发布/订阅的侦听器的端口进行映射的情况下从容器内部进行测试,但这还是行不通的。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。