从外部供应商 s3 存储桶到我公司AWS s3 存储桶的 SFTP

如何解决从外部供应商 s3 存储桶到我公司AWS s3 存储桶的 SFTP

任务：将 13TB（100 个文件）从外部 s3 存储桶加载到公司 s3 存储桶

给定：.pem 和 .ppk 文件、s3 主机名、用户名

到目前为止完成：能够使用提供的 .pem/.ppk 文件、主机名和用户名通过 FileZilla/WinSCP 查看文件

要求：确定将这数百个 .gz 文件从外部供应商的 s3 存储桶加载到我公司的 s3 存储桶的最佳方式，并保留相同的结构。然后将其从内部 s3 加载到雪花中。正在考虑的选项：AWS snowball、python、Volume --> s3、python 从 s3 加载到雪花中。

我不确定如何继续。有什么意见吗？

解决方法

如果供应商愿意与您合作并且 S3 是最终目的地，我会询问他们是否可以将复制设置到您的存储桶。

https://docs.aws.amazon.com/AmazonS3/latest/userguide/replication.html