如何解决使用 celery 运行并行任务的气流理想配置？
使用 celery 和 AWS SQS 运行并行任务的理想配置是什么。
我在 AWS ECS 中设置了气流，其中有 1 个主气流实例和 1 个工作器，均配置为 1 个 vcpu + 2GB RAM。我做了一个目标扩展，当 cpu 阈值超过 10% 到 3 个工人时，我会增加工人。所以在高峰运行时，我将有 3 个工人，每个工人有 1 个 vcpu + 2GB RAM
气流配置：
parallelism = 48
dag_concurrency = 20
worker_concurrency = 16
我面临两个问题：
请建议在任务中顺利运行的理想配置
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
