微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

使用 azcopy 的并行复制

如何解决使用 azcopy 的并行复制

我经常使用 azcopy 将模型从 Azure Blob 存储复制到 Azure VM。但是,当我将数据集复制到我的 VM 时,我正在使用 Azure 文件共享并使用 cp 命令将数据移动到数据磁盘中。我想利用 Azcopy 并行复制数据。我相信有一次我听说 Azcopy 并行复制数据,但我找不到那句话。可能我听错了。

我还在 stackoverflow 上看到了另一个 question,它谈到了 azcopy 中的并行性。答案提供了 azcopy 文档的链接,并谈到了 --parallel-level,但是当我点击它时,并没有说明。

如果有人可以将我重定向到 azcopy 并行文档链接(如果存在),那将非常有帮助。

解决方法

默认情况下,AzCopy 并行复制数据,但您可以更改并行复制的文件数量。

传输小文件时吞吐量会降低。你可以 通过设置 AZCOPY_CONCURRENCY_VALUE 提高吞吐量 环境变量。该变量指定并发数 可能发生的请求。

如果您的计算机的 CPU 少于 5 个,则此值 变量设置为 32。否则,默认值等于 16 乘以 CPU 数量。这个的最大默认值 变量为 3000,但您可以手动将此值设置为更高或更低。

https://docs.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-configure#optimize-throughput

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。