通用 Airflow 数据暂存操作符

我想了解如何使用 Airflow 管理大数据。文档清楚地表明我们需要使用外部存储，而不是 XCom，但我找不到任何干净的数据进出工作节点的示例。

我的期望是应该有一个操作员可以在操作中运行暂存，运行主操作，然后再次暂存。

有这样的操作符或模式吗？我发现的关闭是一个 S3 File Transform，但它运行一个可执行文件来进行转换，而不是一个通用的 Operator，例如我们想要使用的 DockerOperator。

我见过的其他“解决方案”依赖于在单个主机上运行的所有内容，并使用已知路径，这不是生产就绪的解决方案。

是否有支持数据暂存的运营商，或者是否有不依赖于每个运营商都配备云应对能力的 Airflow 处理大数据的具体示例？

是和否。传统上，Airflow 主要是协调器——所以它通常不会“做”这些东西，它通常会告诉其他人该做什么。您很少需要将实际数据带给 Airflow Worker，Worker 主要是在那里告诉其他人数据来自哪里，如何处理以及将数据发送到哪里。

有例外（一些传输操作员实际上从一个服务下载数据并将其上传到另一个服务） - 所以数据通过 Airflow 节点，但这是一个例外而不是规则（更有效和更好的模式是调用一个外部服务来进行传输并有一个传感器等待它完成）。

这更像是 Airflow 的“历史”和“当前”运作方式，但是随着 Airflow 2 及更高版本，我们正在扩展这一点，并且越来越有可能执行类似于您所描述的模式，这是XCom 在那里发挥了重要作用。

您可以 - 从最近开始 - 开发自定义 XCom 后端，不仅可以共享元数据，还可以共享数据。您可以在此处查看文档 https://airflow.apache.org/docs/apache-airflow/stable/concepts/xcoms.html#custom-backends，但您也可以阅读来自 Astronomer 的这篇精彩文章 https://www.astronomer.io/guides/custom-xcom-backends 以及来自 Airflow Summit 2021（上周）的精彩演讲：https://airflowsummit.org/sessions/2021/customizing-xcom-to-enhance-data-sharing-between-tasks/。我强烈推荐观看演讲！

看看你的模式 - XCom Pull 是登入，Operator 的 execute() 是操作，XCom Push 是登出。

这种模式将得到加强，我认为通过即将发布的 Airflow 版本和即将到来的一些很酷的集成。未来可能会有更酷的数据共享选项（但我认为它们都将基于 XCom 实现——也许略有增强）。