如何解决气流 kubernetes pod 操作员 hello world 无法运行
我正在试用 Airflow 的 Kubernetes pod 操作器,但我无法让它在集群上运行。
from airflow import DAG
from datetime import datetime,timedelta
from airflow.contrib.operators.kubernetes_pod_operator import KubernetesPodoperator
from airflow import configuration as conf
from airflow.operators.dummy import DummyOperator
from airflow.operators.python_operator import Pythonoperator
from airflow.utils.dates import days_ago
default_args = {
'owner': 'airflow','depends_on_past': False,'start_date': datetime(2021,1,1),'email_on_failure': False,'email_on_retry': False,'retries': 5,'retry_delay': timedelta(seconds=5),}
namespace ='sid'
config_file = '/home/sid/.kube/config'
in_cluster=True
dag = DAG(
dag_id='kubernetes_pod_operator',default_args=default_args,schedule_interval=None,start_date=days_ago(2),tags=['example'],)
with dag:
k = KubernetesPodoperator(
namespace=namespace,image="hello-world",labels={"foo": "bar"},name="airflow-test-pod",task_id="task-one",in_cluster=in_cluster,config_file=config_file,is_delete_operator_pod=True,get_logs=True)
我看不到日志,因为显然如果任务崩溃,会记录 cannot be seen。调度程序日志没有说明任何有用的信息。就这一行
Executed failure callback for <TaskInstance: kubernetes_pod_operator.task-one 2021-05-20 08:29:23.028281+00:00 [up_for_retry]> in state up_for_retry
另外要提到的是,我可以运行示例,例如 bash 运算符或 python 运算符。但是如果我使用 python 操作符代码的一部分,它就不会运行。例如,
args = {
'owner': 'airflow',}
with DAG(
dag_id='python_operator_2',default_args=args,) as dag:
# [START howto_operator_python]
def print_context(ds,**kwargs):
"""Print the Airflow context and ds variable from the context."""
pprint(kwargs)
print(ds)
return 'Whatever you return gets printed in the logs'
run_this = Pythonoperator(
task_id='print_the_context',python_callable=print_context,)
这是 full example 的一部分,但它不运行。 另外,如果执行成功,我可以看到日志。
有什么想法吗?谢谢
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。