从 Snowball Edge 优化中提取对象

如何解决从 Snowball Edge 优化中提取对象

我最终购买了 snowballEdge 设备并尝试将文件从设备复制到我的系统。

设备上大约有 900 万个对象 @ 9TB。

最大的问题：

所有本地 aws cli 命令都有 1000 个对象的限制，因此我一次只能 cp、mv、ls 或 sync 1000 个对象。

当前解决方案：

就目前而言，我目前有 3 个脚本：

1. 遍历 snowball Edge 设备以获取对象名称

   • 我尝试用 ls --recursive 引用它们，但它一次只列出 1000 个对象

2. 使用 #1 中的文件在我的本地计算机上创建一个目录系统，该目录系统与 snowball Edge 设备中的目录系统相同

3. 创建一个 python 脚本，以使用 #1 中的文件在文件的迭代中调用 aws cli 命令。这是目前有 88 个线程的多线程：

   • aws s3 cp --bucket bucketname+/+filename ./filename
   • 这似乎有硬件限制，因为它通过了对写入操作有一些限制的 NIC
   • 我们已开启 --quiet 以关闭打印瓶颈

此解决方案在 1 分钟内处理了大约 9GB 的数据，而我需要大约 120 小时才能进行传输。

问题：

有没有办法优化将 AWS snowball Edge 的数据传输回本地设备的过程？