如何解决使用芹菜执行器时,优先权未得到遵守
我在芹菜执行器上使用Airflow 1.10.10。我定义了两个任务,每个任务有三个任务。在dag / task中使用了相同的池ID。池插槽配置为3。每个任务的第一个DAG(例如High_prioirty)的priroity_weight为10。第二个DAG(例如Low_priority)具有默认的priority_weight(即1)。我提交了前5个低优先级Dag。我等到3个低优先级的任务进入运行状态。然后我提交了4个高优先级dag。我期望在下一个调度回合中池槽可用时,应将高优先级任务移到“排队”状态。但是,高优先级任务仍处于计划状态。我重复了10-15次,每次都观察到同一件事。
但是当我移至LocalExecutor时,此方法工作正常。
请提出解决方案,以解决CeleryExecutor中的priority_weight问题。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。