微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Azcopy 将数百万个小 Blob 从存储帐户复制到您的 VM

如何解决Azcopy 将数百万个小 Blob 从存储帐户复制到您的 VM

我正在尝试使用 azcopy 命令将数百万个小型 csv 文件从我的存储帐户复制到一台物理机,但我注意到速度非常慢。

azcopy 命令的格式为 Azcopy 复制 --recursive --overwrite=True

并且命令是从物理机运行的。

有没有办法让 azcopy 同时下载多个 blob?而不是一一检查blob?我相信这就是为什么速度下降到 1 mb/秒的低值的原因,因为它正在对这些非常小的 blob 进行逐个检查。或者是否有其他方法可以提高这种 blob 传输的速度?

解决方法

azcopy 使用并行处理等对吞吐量进行了高度优化。我还没有遇到任何可以为您提供整体下载速度更快的工具。根据我的经验,主要的限制因素通常是(显然)网络带宽和 CPU 能力。它使用大量计算资源。那么您能否至少在下载期间在 VM 上增加这两个?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。