如何解决我应该实现 Apache Airflow 还是只使用 Celery
- 我有多种服务，例如用于抓取产品数据的 Scrapy。
- 与不同服务提供商的多个 API 集成以拉取和推送数据。
- 用于处理和插入/更新信息的 ETL 过程
- 电子邮件流程，用于向客户发送电子邮件用于营销或基于事件通知（例如他们的报告已准备就绪）。
所有这些任务，或者我想说的大部分任务都是使用 Celery/Worker 应用程序编排的。现在我有许多需要持续安排的任务。这些任务可以通过以下方式轻松安排：
- 芹菜节拍
- 定时标签
- 其他选择。
我正在研究 Apache Airflow 和 Celery Executor。我想知道，从战略角度来看，实施 Airflow 或使用上述任何解决方案创建手动方法来执行重复性任务是否有意义。
关于 Airflow 的 +ve：
- 很棒的图形用户界面
- 可以定义 DAG 以确保任务 a 在任务 b 开始之前完成。 （例如，Scrapy 获取产品数据并创建一个 CSV 文件，一旦该任务完成，我就可以使用 ETL 脚本来处理数据。
- 自动任务管理。
关于 Airflow 的 -ve：
- Celery 仍然是该任务的最终协调者，我认为 Airflow 将为核心解决方案添加太多层，同时提供出色的 GIU。
- Celery 中的任务链式可以确保任务 a 在任务 b 开始之前完成。
- 需要维护额外的服务器、工作器、调度器。
我很想知道您是否会使用 Apache Airflow 或 Celery 就足够了。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。