从 MWAA 运行 jar 的最佳方法是什么？

如何解决从 MWAA 运行 jar 的最佳方法是什么？

我想运行将数据输出到 S3 的 EMR spark 作业，当作业完成时终止集群并提交将数据导入 Redshift 的自定义 jar

我正在将所有 jar 文件部署到 S3 文件夹

对于 EMR，我使用 Airflow EMR/Livy 操作员提交作业，该作业可以轻松配置为从 S3 中挑选罐子

我应该使用什么来从 Airflow 中的 S3 提交自定义 jar？

现在我使用气流 SSH 操作符，接下来：

1. 将 jar 文件（如果不存在）从 s3 复制到临时文件夹
2. 使用 java -cp 命令从 cmd 提交 jar

另外，我不喜欢直接在 Airflow 上提交 jar 的想法，因为如果 jar 需要大量资源/时间来运行，它可能会使它过载

我想知道，有没有更好的方法来做到这一点？