假设这是我的狗:
A >> B >> C
如果任务 B 引发异常,我想跳过任务而不是失败。但是,我不想跳过任
我构建了一个 Airflow Operator,它针对云 API 执行 HTTP 请求。
执行请求后,我会得到一个 <code>run_id</code> 来
tl;dr,问题框架:
假设我有一个用 <code>timeout = 24*60*60</code> 戳的传感器。由于连接偶尔会超时,因
我正在试用 Airflow 的 Kubernetes pod 操作器,但我无法让它在集群上运行。
代码在这里
<pre><code>from
我对 apache 气流有点陌生,想做一些 bashoperators。
理想情况下,dag 像 t1 >> t2 >> ... >> t9 >> t10 一样运
我是 Airflow 的新手。我需要为具有不同计划的 DAG 依赖项提出一个干净简单的解决方案。
我有 DAG 1
我们的代码库中有许多相同的 Slack 回调函数粘贴了很多次,所以我希望将它们移动到一个单独的插件并
我有 2 个 AWS EC2 实例:
<ul>
<li>带有气流的 Ubuntu 20.04</li>
<li>Windows 10</li>
</ul>
我想要做的是从 Airflow
我在 Airflow 中有一项使用 bash 操作符的任务,该操作符持续运行。
有没有办法在下一次计划运行之前使
我正在尝试在 Airflow 中创建一个动态生成的 DAG。
主要组件是我的代码动态生成一堆同时运行的任
我正在编写一个气流 dag,它将从数据库中读取一堆配置,然后使用 bash 运算符执行一系列 Python 脚本。
我想创建 python 程序,它可以列出当前在 UI 上的所有活动(开/关)DAGS。
还想触发列表中的任何 DAG 或通
我想知道在使用 docker-compose 部署的气流的情况下,基于 DockerOperator 的任务在哪里运行?我的意思是,我
我需要一个长时间运行的 dag 的帮助,该 dag 在一个小时后仍然失败,但任务仍处于运行模式。
过去 6-8
今天是 5 月 6 日。
dag 参数是:
<pre><code> 'start_date': datetime.datetime(2021, 5, 6),
'email_o
我有一个问题要解决:
每当有人注册时,Web 应用程序都会在数据库中记录身份验证代码的电子邮
我必须向我现有的 DAG 添加一个新任务。<br/>
气流具有<strong>回填</strong><strong>自动添加的任务。</strong><b
我正在尝试编写一个运算符,该运算符将下载一些 API 数据并使用数据框将其放入表中。我已经编写了以
如何在另一个 PythonOperator 中运行 PythonOperator?
想法是:将“main”函数作为PythonOperator调用,然后
我有以下 dag 任务:(仅任务的片段)
<pre><code>DAG_START = PythonOperator(
task_id='task1', python_callabl