airflow-operator专题提供airflow-operator的最新资讯内容,帮你更好的了解airflow-operator。
我正在尝试创建一个动态工作流,但想要更改气流自动生成的任务名称并分配给列表中的任务。我尝试
我们有一些使用 <code>KubernetesPodOperator</code> 启动 Pod 的 dag,我正在尝试获取 Pod 内的一些信息。 我
我对 Airflow 很陌生,并开始练习它,但目前遇到了一个损坏的 DAG,它抱怨找不到“airflow.hooks.dbapi”模块
我想将参数传递给气流 DAG 并在 python 函数中使用它们。我可以将参数用作 bash 运算符,但找不到任何将
我试图弄清楚如何实现一个工作流,以便传感器任务等待外部 dag 完成,只等待一定天数。这是一项日常
背景:Apache Airflow 文档内容: <块引用> Hooks Hooks 充当与外部通信的接口 DAG 中的共享资源。例如,
我从 Airflow 开始。我需要从我的 PostgreSQL 数据库中获取访问令牌,然后我必须使用该访问令牌通过 SimpleH
我正在尝试设置一个具有多项任务的 DAG,例如 <code>A, B, C, D</code>。它们都写入同一个impala 表。问题是它
我有一个处于 <code>reschedule</code> 模式的传感器,我还为此传感器设置了 <code>sla</code>。我希望发生的是
以前,我使用 <strong>TriggerDagRunOperator</strong> 的 <strong>python_callable</strong> 参数来<strong>动态更改传递给新
仅当数据集文件中有记录时,我才需要编写头文件和数据集文件。尝试以下 2 个选项在我的 DAG (Python) 文
我想从 Airflow 任务中调用几个 java 方法,因为我已经有很多用 java 编写的代码,包括验证、清理、一些
我有一个简单的线性 DAG(使用 Airflow 2.0 创建)有两个任务。我为每个扩展到 <code>BaseOperator</code> 的任务
我需要在 AWS Airflow (Amazon MWAA) 上的 DAG 中使用 sshoperator,因此我在我的 DAG 文件中导入了以下库 <pre><co
我正在尝试将 <code>timedelta(hours=2)</code> 作为参数传递给作为 <code>DAG</code> 之一的 <code>default_args</code>。我
我正在尝试使用 Cloud Composer 运算符创建 dataproc 集群。 这是我的 DAG 的样子: <pre><code>default_dag_args = {
我想使用 S3Hook 连接到 S3,而不是在气流 GUI 或通过 CLI 创建连接。 目前在使用 S3Hook 时,我们尝试
我正在尝试使用 BigQueryInsertJobOperator 来查询 Google BigQuery。我试图将变量名传递到 sql 文件中,但出现错
我们在 Google Cloud Composer 上运行 Airflow。 我有一个 bash 脚本正在我的 DAG 的 BashOperator 中调用: <p
我正在尝试从另一个 DAG(来自 parent_dag 的 target_dag)调用 DAG。 我的 parent_dag 代码是: <pre><code>f