如何解决使用 azcopy 的并行复制
我经常使用 azcopy 将模型从 Azure Blob 存储复制到 Azure VM。但是,当我将数据集复制到我的 VM 时,我正在使用 Azure 文件共享并使用 cp 命令将数据移动到数据磁盘中。我想利用 Azcopy 并行复制数据。我相信有一次我听说 Azcopy 并行复制数据,但我找不到那句话。可能我听错了。
我还在 stackoverflow 上看到了另一个 question,它谈到了 azcopy 中的并行性。答案提供了 azcopy 文档的链接,并谈到了 --parallel-level,但是当我点击它时,并没有说明。
如果有人可以将我重定向到 azcopy 并行文档链接(如果存在),那将非常有帮助。
解决方法
默认情况下,AzCopy 并行复制数据,但您可以更改并行复制的文件数量。
传输小文件时吞吐量会降低。你可以 通过设置 AZCOPY_CONCURRENCY_VALUE 提高吞吐量 环境变量。该变量指定并发数 可能发生的请求。
如果您的计算机的 CPU 少于 5 个,则此值 变量设置为 32。否则,默认值等于 16 乘以 CPU 数量。这个的最大默认值 变量为 3000,但您可以手动将此值设置为更高或更低。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。