airflow-operator专题提供airflow-operator的最新资讯内容,帮你更好的了解airflow-operator。
我是气流方面的新手。我在下面创建了我的第一个 dag,从谷歌大查询表中选择数据并将其保存到 pd 数据
我正在尝试添加到气流服务器的连接。我想添加 ssh。仅显示下面列出的 5 个。你能告诉我如何添加 ssh
我想了解 Airflow 是否支持跳过 DAG 中的 subDag。 假设我的 DAG 如下所示:task1(FileSensor) -> task2(subDag-1)
我试图找到一种方法将 execution_Date 传递给 SparkKubernetesOperator。 无论如何都可以通过它,因为我将使用 sp
当我尝试使用用户名和密码在 Airflow 中创建连接 (SSH) 时,它失败了如下错误 “更新记录失败。无
考虑一个非常简单的 Apache Airflow DAG: <pre><code>FileSensor -&gt; PythonOperator </code></pre> 其中 <code>FileSensor
我使用的是 Airflow 1.10.11 我可以读到我可以使用 UI 和 CLI ( <a href="https://airflow.apache.org/docs/apache-airflo
例如,我在 11:30 创建了一个新的 DAG。 DAG 应该在每小时的第一分钟运行(Cron:0 * * * *)。 我预计 DAG 会
我想使用气流在本地、sftp 和 hdfs 之间移动文件。我遇到了气流-fs。但我也需要副本并行发生。我的问题
我正在尝试使用千里眼的 <a href="https://github.com/teamclairvoyant/airflow-maintenance-dags/tree/master/db-cleanup" rel="nofol
我有一个自定义的气流操作器,它只是复制同一个存储桶中的 s3 文件列表 <pre><code> for src, list in mov
我有计划在特定时间实例运行的 Apache Airflow dag。 dag 还包括电子邮件通知任务,该任务在最后运行,我
我正在使用带有作曲家 (GCP) 的气流从云 sql 中提取数据用于 gcs,在 gcs 后用于 bigquery,我有一些 100 Mb 和
我对在 AKS 中运行时的气流有疑问。 我们已在 AKS 中部署了气流,并将 Azure Fileshare 挂载到了气流 Po
我创建了 DAG1 和 DAG2,其中每个都包含 2 个任务。 并在 DAG3 中使用 triggerdagrunoperator 触发 DAG1 和 DAG2,并
说我在名为 project-central(作为源项目)的 GCP 项目下运行作曲家气流。 我有很多任务实例使用 BigqueryOper
我正在从 salesforce API 下载数据。该表很大,我正在使用 query_more 来获得完整的结果。问题是结果中返回
我们在 kubernetes 上运行气流。虽然气流运行 DAG 没有任何问题,但我在气流日志中看到以下奇怪的错误消
我想将我的 spark 作业结果加载到气流任务中,该任务是一个 json 文件,其 spark 格式类似于 part-xxxxxxx.json
开发人员您好,我一直在努力弄清楚如何利用 AWS RDS 作为气流元存储 我在浏览了几个帖子和博客后