如何解决使用CeleryExecutor Airflow
请帮忙,因为我有点笨。.
我正在尝试将包括Kerberos身份验证在内的Airflow安装从localexecutor升级到celeryexecutor。当前,我们仅从一台服务器运行气流安装。
使用celeryexecutor进行的完全相同的sqoop作业由于本地执行程序成功时出现的kerberos身份验证错误而失败:
Client cannot authenticate via:[TOKEN,KERBEROS]; Host Details : local host is: "lsrv****.linux.****/10.251.128.148"; destination host is: "lsrv***.linux.****":8020;,while invoking ClientNamenodeProtocolTranslatorPB.getFileInfo over lsrv****.linux.****/10.251.128.104:8020 after 1 failover attempts. Trying to failover after sleeping for 1377ms.'
kerberos设置:
[kerberos]
ccache = /tmp/krb5cc_32606
# gets augmented with fqdn
principal = airflow
reinit_frequency = 3600
kinit_path = kinit
keytab = /var/lib/airhome/.certs/airflow.keytab
在kerberos或celery设置中是否需要进行任何更改以使Kerberos与celery executor结合使用?还是需要对Cloudera Hadoop设置进行任何更改? (例如:hadoop.security.token.service.use_ip
?)
是否必须对错误消息中提到的其他IP地址做些什么?
解决方法
您还需要在运行airflow kerberos
的地方运行airflow worker
。它是Airflow中的Kerberos票证更新组件。
https://airflow.apache.org/docs/stable/security.html#kerberos
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。