Apache Airflow Connection 钩子正在实例化多个连接

如何解决Apache Airflow Connection 钩子正在实例化多个连接

背景：Apache Airflow 文档内容：

Hooks Hooks 充当与外部通信的接口 DAG 中的共享资源。例如，一个 DAG 中的多个任务可以 需要访问 MysqL 数据库。而不是创建连接 每个任务，您可以从钩子中检索连接并使用它。

我尝试使用不同的数据库生成 10 个任务：MysqL、POSTGRES、MONGODB。请注意，我在一个 DAG（由 10 个任务组成）中使用了一个 DB（例如：MysqL）。 但是，所有任务都在实例化一个新连接。

我的任务示例：

conn_string = kwargs.get('conn_id')
pg = PostgresHook(conn_string)
pg_query ="...."
records = pg.get_records(pg_query)

当气流文档本身读取时，为什么气流会实例化一个新连接（..... DAG 中的多个任务可能需要访问 MysqL 数据库。您可以从钩子中检索连接，而不是为每个任务创建一个连接并利用它.......)

这里遗漏了什么......

解决方法

我相信他们对那部分文档的意思是挂钩阻止您一遍又一遍地重新定义相同的凭据。对于连接，它们指的是您在网络界面中定义的 Airflow 连接，而不是与主机的实际互联网连接。

如果你这样想：

• 可以在 3 个气流工作节点中的任何一个节点中安排任务。
• 您的 10 项任务分为这 3 项。

如果来自不同的主机，他们如何能够共享相同的互联网连接？维护这些员工之间的互联网连接将非常困难。

不过别担心，我也花了很长时间才明白它们的意思。