气流 kubernetes pod 操作员 hello world 无法运行

如何解决气流 kubernetes pod 操作员 hello world 无法运行

我正在试用 Airflow 的 Kubernetes pod 操作器,但我无法让它在集群上运行。

代码在这里

from airflow import DAG
from datetime import datetime,timedelta
from airflow.contrib.operators.kubernetes_pod_operator import KubernetesPodoperator
from airflow import configuration as conf
from airflow.operators.dummy import DummyOperator
from airflow.operators.python_operator import Pythonoperator
from airflow.utils.dates import days_ago

default_args = {
    'owner': 'airflow','depends_on_past': False,'start_date': datetime(2021,1,1),'email_on_failure': False,'email_on_retry': False,'retries': 5,'retry_delay': timedelta(seconds=5),}

namespace ='sid'
config_file = '/home/sid/.kube/config'
in_cluster=True

dag = DAG(
    dag_id='kubernetes_pod_operator',default_args=default_args,schedule_interval=None,start_date=days_ago(2),tags=['example'],)


with dag:


    k = KubernetesPodoperator(
            namespace=namespace,image="hello-world",labels={"foo": "bar"},name="airflow-test-pod",task_id="task-one",in_cluster=in_cluster,config_file=config_file,is_delete_operator_pod=True,get_logs=True)

我看不到日志,因为显然如果任务崩溃,会记录 cannot be seen。调度程序日志没有说明任何有用的信息。就这一行

Executed failure callback for <TaskInstance: kubernetes_pod_operator.task-one 2021-05-20 08:29:23.028281+00:00 [up_for_retry]> in state up_for_retry

另外要提到的是,我可以运行示例,例如 bash 运算符或 python 运算符。但是如果我使用 python 操作符代码的一部分,它就不会运行。例如,

args = {
    'owner': 'airflow',}

with DAG(
    dag_id='python_operator_2',default_args=args,) as dag:

    # [START howto_operator_python]
    def print_context(ds,**kwargs):
        """Print the Airflow context and ds variable from the context."""
        pprint(kwargs)
        print(ds)
        return 'Whatever you return gets printed in the logs'

    run_this = Pythonoperator(
        task_id='print_the_context',python_callable=print_context,)

这是 full example 的一部分,但它不运行。 另外,如果执行成功,我可以看到日志。

有什么想法吗?谢谢

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其他元素将获得点击?
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。)
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbcDriver发生异常。为什么?
这是用Java进行XML解析的最佳库。
Java的PriorityQueue的内置迭代器不会以任何特定顺序遍历数据结构。为什么?
如何在Java中聆听按键时移动图像。
Java“Program to an interface”。这是什么意思?
Java在半透明框架/面板/组件上重新绘画。
Java“ Class.forName()”和“ Class.forName()。newInstance()”之间有什么区别?
在此环境中不提供编译器。也许是在JRE而不是JDK上运行?
Java用相同的方法在一个类中实现两个接口。哪种接口方法被覆盖?
Java 什么是Runtime.getRuntime()。totalMemory()和freeMemory()?
java.library.path中的java.lang.UnsatisfiedLinkError否*****。dll
JavaFX“位置是必需的。” 即使在同一包装中
Java 导入两个具有相同名称的类。怎么处理?
Java 是否应该在HttpServletResponse.getOutputStream()/。getWriter()上调用.close()?
Java RegEx元字符(。)和普通点?