微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

有没有办法在 GLUE ETL 上使用 AWS DMS 端点源

如何解决有没有办法在 GLUE ETL 上使用 AWS DMS 端点源

我们需要将数据从内部部署的 sql server 数据库迁移到 s3。我们已经在 aws dms 上开发并测试了一个运行良好的迁移。但是为了对某些表进行一些自定义转换,我们认为胶水是更好的选择,因为它可以使用 pyspark。

问题在于编写 pyspark 例程意味着在连接字符串上对用户和密码进行硬编码。从这个意义上说,我们认为使用我们已经测试和编码的 DMS 端点源作为信息源是一个更好的主意。

现在是否有人可以通过这种方式消费数据?

提前致谢。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。