如何解决AzCopy中“并发操作数”参数和“所需的最小网络带宽”的下限
我们正在尝试围绕AzCopy实现一个包装器,该包装器将在低网络带宽环境中运行。但是,在并发操作数参数的下限是否有限制的情况下,我们找不到关于AzCopy运行所需的最小带宽的明确信息。
非常感谢您的帮助。
解决方法
-
将环境变量AZCOPY_CONCURRENCY_VALUE设置为“ AUTO”。在低带宽情况下,这很有帮助,因为它导致AzCopy使用的连接数量比正常情况少得多。 (通常这足以解决低带宽问题)
-
您还可以通过在命令行中添加以下内容来为AzCopy提供明确的速度上限:--cap-mbps 10 (为您的环境选择一个合理的数字)
-
如果(且仅当)带宽较低时,每个AzCopy作业中都有多个文件,并且需要使用azcopy作业履历表来恢复失败的作业,然后设置环境变量AZCOPY_CONCURRENT_FILES。如果文件较大,则将其设置为1;如果文件较小,则将其设置为大约4或8。 (默认值为64。减少该值将意味着每个失败的作业在发生故障时正在传输的文件较少,这在恢复时会很好)。
关于更改块大小。我从来没有真正建议过。有一个--block-size-mb参数。我认为较小的块大小可以使重试操作更有可能成功。但是上述步骤通常有效,因此通常不需要更改块大小。而且,对于大于10 GB的文件,您实际上不能强制使用最小的大小,因为如果这样做,则超出了Azure的阻止计数限制。因此,仅保留块大小并让AzCopy自动设置它可能会更容易。
AzCopy在使用可用带宽方面做得很好。即物理安装带宽的那部分,其他流量尚未使用。为了进行计算,网络速度高达5Gbps,我建议您假设它将使用90%的可用带宽。如果您的磁盘和网络的速度甚至更快,那么您需要并行传输至少两个文件来填充网络(因为我们目前通常无法在单个文件上获得超过5 Gbps的速度) )。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。