airflow-worker专题提供airflow-worker的最新资讯内容,帮你更好的了解airflow-worker。
我在群集中有2台服务器:Ubuntu 18.04上的第一台服务器,带有Web服务器,调度程序和工作服务器;在Centos6
我曾尝试在stackoverflow上查看与此问题类似的答案,但是我的情况略有不同。 我正在通过Airflow CLI执
我有一个任务,需要100 GB的RAM才能成功完成。我在Composer环境中有3个节点,每个节点有50 GB内存。我有3
我想通过Prometheus监视我的Airflow-Worker日志。目前,我正在将我的Airflow-Webserver指标发送至官方文档-<a href=
是否有办法检查在特定时间在气流中排队的任务?气流元数据数据库中的task_instance表仅显示任务的最终
我试图用芹菜后端启动气流工作人员,而与此同时我正在使用以下命令- 气流工人 现在我的芹菜连接已
我在芹菜执行器上使用Airflow 1.10.10。我定义了两个任务,每个任务有三个任务。在dag / task中使用了相同
<a href="https://i.stack.imgur.com/SD8nQ.jpg" rel="nofollow noreferrer">enter image description here</a> 当我尝试通过连续运行2
我正在使用docker驱动程序为气流工作者节点创建Nomad作业,并尝试从环境中读取当前Nomad客户端的IP地址
我正在用Celery执行器在K8s上运行Airflow。<br/> 通常,我的任务使用emr_add_steps_operator触发EMR步骤。<br/> 当工
气流版本= 1.10.10 托管在Kubernetes上,使用Kubernetes执行程序。 <h3> DAG设置</h3> DAG-使用动态dag生
这是我的任务,当任务失败时,它将调用<code>on_dag_failure</code>。 <pre><code> dag = DAG(&#39;my_dag_id&#39;
在我的<code>Airflow DAG</code>中,我有4个<code>tasks</code> <pre><code>task_1 &gt;&gt; [task_2,task_3]&gt;&gt; task_4 </code
我想通过Airflow从MS Exchange Server邮箱中提取附件。 您能否建议哪个Airflow操作员将帮助访问和从MS Exch
我们让Airflow 1.10.3与Celery 4.1.1和Redis一起用作消息代理。 启动网络服务器时,预定的DAG会无限期进
我正在编写气流 dag,需要根据经理的要求将文件从 GCP 传输到气流工作节点。只有当我成功地将这些文
我们有 3 个 Composer GKE 节点和 3 个工作器 Pod,它们均匀分布在所有 3 个节点中。我需要知道如何检查哪
我想(以编程方式)检查是否有任何任务在特定的 celery 工作器上运行。我不在乎解决方案应该在哪里执
我正在 AWS ECS 上运行 Airflow 实例。效果很好。然而,最近出现了对多租户的需求。我激活了 <code>webserver:
我使用提供的微风命令行工具创建了一个生产 docker 镜像。但是,当我运行 <code>airflow worker</code> 命令时