如何解决如何使用胶水资源运行 python Shell 胶水作业?
python shell 作业在 AWS Glue 上运行,因此它们使用分配给 GLUE 的 DPU,我正在浏览一些教程,在这些教程中他们运行触发 redshift 的 sql 查询。我担心的是计算是在 redshift 上进行的不会发生在 SPARK GLUE 作业的情况下,它在自己的平台上进行所有处理,创建 sql 查询并进行计算和其他工作。
如果我的工作不是非常占用资源,并且我不需要 spark 来处理它并在 python shell 上处理它,而是使用胶水资源而不是在数据库上运行作业,我如何实现同样的事情。
请帮助我了解如何实现它?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。