AWS Airflow v2.0.2 不显示 Google Cloud 连接类型

如何解决AWS Airflow v2.0.2 不显示 Google Cloud 连接类型

我想将数据从 Google Storage 加载到 S3

为此，我想使用 GoogleCloudStoragetoS3Operator，它需要 gcp_conn_id

所以，我需要设置 Google Cloud 连接类型

为此，我添加了

apache-airflow[google]==2.0.2

到requirements.txt

但 Google Cloud 连接类型仍然不在 MWAA 的连接下拉列表中 elastic-search documentation

同样的方法适用于 mwaa 本地跑步者

我想它在 MWAA 中不起作用，因为这里讨论的安全原因 https://github.com/aws/aws-mwaa-local-runner

但是，是否有任何解决方法可以在 MWAA 中添加 Google Cloud 连接类型？

解决方法

可以使用 UI 或环境变量创建和管理连接。

据我了解，MWAA 对某些提供程序包的过度安装的限制仅在 Web 服务器计算机上，这就是连接未在 UI 上列出的原因。这并不意味着您根本无法创建连接，只是意味着您无法从 UI 中创建连接。

您可以从 CLI 定义它：

airflow connections add [-h] [--conn-description CONN_DESCRIPTION]
                        [--conn-extra CONN_EXTRA] [--conn-host CONN_HOST]
                        [--conn-login CONN_LOGIN]
                        [--conn-password CONN_PASSWORD]
                        [--conn-port CONN_PORT] [--conn-schema CONN_SCHEMA]
                        [--conn-type CONN_TYPE] [--conn-uri CONN_URI]
                        conn_id

您也可以generate a connection URI使其更容易设置。

连接也可以设置为环境变量。示例：

export AIRFLOW_CONN_GOOGLE_CLOUD_DEFAULT='google-cloud-platform://?extra__google_cloud_platform__key_path=%2Fkeys%2Fkey.json&extra__google_cloud_platform__scope=https%3A%2F%2Fwww.googleapis.com%2Fauth%2Fcloud-platform&extra__google_cloud_platform__project=airflow&extra__google_cloud_platform__num_retries=5'

如果需要，您可以检查 google provider package docs 以查看连接的配置选项。

对于 MWAA，有 2 个选项可以设置连接：

设置环境变量。使用模式 AIRFLOW_CONN_YOUR_CONNECTION_NAME，哪里例如YOUR_CONNECTION_NAME = GOOGLE_CLOUD_DEFAULT。这可以使用自定义插件来完成 https://docs.aws.amazon.com/mwaa/latest/userguide/samples-env-variables.html
使用秘密管理器 https://docs.aws.amazon.com/mwaa/latest/userguide/connections-secrets-manager.html

经过谷歌云连接测试，都可以正常工作。