Apache Airflow 2.0 Celery Executor 安装

如何解决Apache Airflow 2.0 Celery Executor 安装

我知道对于 Airflow CeleryExecutor，需要 celery 和 rabbitmq（或 redis）。 是否只需运行 pip install apache-airflow[celery,rabbitmq] 即可满足要求，还是需要运行 sudo yum install rabbitmq-server 和 pip install celery？

我的问题是针对 Airflow 2.0+

解决方法

1. 如果您在全新的虚拟环境中安装 apache-airflow[celery]，您会看到它已经为您安装了 celery。因此，pip install celery 是多余的。

2. 您确实需要rabbitMQ 服务器（实际过程）。或者，您可以在 docker 中使用 rabbitMQ。

3. 不确定 apache-airflow[rabbitmq]，因为我知道 Celery 使用 amqp 协议与 rabbitMQ 通信。 amqp==5.0.6 软件包与 celery 的安装一起安装（由 pip install apache-airflow[celery] 发生）。