airflow-operator专题提供airflow-operator的最新资讯内容,帮你更好的了解airflow-operator。
每当我的.gz文件超过2 GB大小限制时,我都会收到此错误“字符串长于2147483647字节”。无论如何,我可以
我有一个用例,我们在s3目录中有一组10个文件(比方说)。我们正在尝试将这些文件重命名为第二个目
我在芹菜执行器上使用Airflow 1.10.10。我定义了两个任务,每个任务有三个任务。在dag / task中使用了相同
我希望在DAG 1中使用ShortCircuit运算符,以便在给定日期没有可用数据时跳过DAG运行。 我有一个DAG 2
要求:要从雪花中获取更多数据并插入到oracle表中 问题:错误-类型为'int'的对象没有len() <pre
<a href="https://i.stack.imgur.com/SD8nQ.jpg" rel="nofollow noreferrer">enter image description here</a> 当我尝试通过连续运行2
我们正在尝试使用雪花SQLAlchemy库(最新版本)连接到雪花实例。 <pre><code>Getting next error: [2020-09-28 14:4
我有一个自定义的Airflow操作员,我从中调用<code>JdbcOperator</code>。传递给<code>JdbcOperator</code>的sql查询包
<br/> 假设我们有3个任务“ A,B,C”以“ A >> B >> C”的顺序执行。<br/> 我正在使用Apache Airflow并创建将使用
我在conda上安装了裸露的气流-我设法通过将其放置在路径中来创建自定义运算符: <pre class="lang-sh pret
我使用看门狗API遍历了这篇文章,似乎正是我所需要的: <a href="https://medium.com/@phanikumaryadavilli/hacking-apac
我在不同文件夹中的不同文件上具有3个S3KeySensors。它们中的2个必须成功,而第三个则可以跳过。我正在
我正在尝试在气流管道上使用docker运算符。这是我正在使用的代码: <pre><code>from airflow import DAG from ai
比方说,我有一个DAG,其外观类似于以下内容。我已将红色框(任务x)设置为根据某种逻辑触发或跳过
我希望自动将run_id设置为更有意义的名称。 据我了解,现在run_id是在TriggerDagRunOperator中设置的。
我试图使用Airflow 1.10.11中的<code>ExternalTaskSensor</code>来管理坐标,有些麻烦。我已经开发了这段代码来测
同一dag中的任务1、2、3、4将插入到db表中。 然后,我希望任务7仅针对时间戳> = dagrun的开始时间(而不
我正在Google Composer上运行Airflow。我的任务是KubernetesPodOperators,默认情况下,对于Composer,它们与Celery Exe
我需要在SSHOperator中检索bash命令的输出(将是文件的大小)。我将使用此值作为条件检查以扩展到其他
<pre><code>Using Airflow 1.8.0 and python 2.7 </code></pre> 具有以下DAG(简体): <pre><code>(Phase 1)--&gt;(Phase 2) </code