并行文件下载

这是一个基本问题，但我希望有更多网络经验的人提供更全面的答案。

假设我在外部服务器上有 3 个文件，每个文件为 1GB。要下载它们，我会这样做：

$ wget https://server.com/file1.mov

就并行执行这三个项目而言（例如，在三个单独的选项卡/外壳/线程中），或者串行执行，例如：

$  wget https://server.com/file1.mov \
&& wget https://server.com/file2.mov \
&& wget https://server.com/file3.mov \

在以下情况下：

对于第一种情况，很明显我们想要使用并行下载，如果外部服务器上存在相当于固定开销的开销，但对于其他两种情况，为什么会一个比另一个更好？

对于所有三种情况，实际结果取决于许多限制因素。您已经列出了下载和上传带宽，但瓶颈也可能在于磁盘 I/O、CPU 和 RAM 以及数据传输协议和其他数量。

总的来说，分段文件传输是获取数据的首选方式，因为它减少了 TCP 拥塞控制（假设我们使用 TCP 协议）和异构环境的影响。正如这篇“跨广域网高带宽数据传输的应用技术”（Jason Lee、Dan Gunter、Brian Tierney）论文中所述：

“TCP通过不断地探测连接的可用带宽增加窗口大小直到数据包丢失，此时它将窗口切成两半并再次开始“增加”连接。带宽延迟乘积越高，这种斜坡上升的时间就越长采取，并且在其期间将使用较少的可用带宽持续时间。”

和

“为了改善这种网络成为瓶颈，可以使用并行流。这种技术是通过将要传输的数据分成 N 个部分来实现使用单独的 TCP 连接传输每个部分。效果 N 个并行流是为了减少带宽延迟乘积单个流经历了 N 倍，因为它们都共享单流带宽 (u)。合理的随机丢包 q (

值得一提的是，拥塞算法在带宽分配中发挥着重要作用，但仍需要根据网络“类别”进行设置。宽带、卫星、3G、WiFi - 它们都具有由物理环境决定的功能，并且 CWND 实现的性能各不相同。

另一件需要考虑的事情是拥塞网络中并行与并发数据传输的行为。从理论上讲，传输的数据越多，阻塞网络和激活 ISP 端的策略的可能性就越大，这些策略将开始断开或塑造连接。然而，即使在这种情况下，通过几个小的并行链接而不是一个大的连接交换数据的可能性更高。

同样，这是一个非常笼统的解释，连接吞吐量可能会因各种因素而有很大差异。也有可能发现自己处于这样一种情况：单个连接的性能与多线程相当，同时不需要额外的工作和代码来实现。

说明

真正的答案是几乎没有关系！

一旦您创建了 TCP 会话，TCP 将处理您的带宽并尝试使用拥塞控制机制达到最大速度：

传输控制协议 (TCP) 使用网络拥塞避免算法，该算法包括加法增加/乘法减少 (AIMD) 方案的各个方面，以及慢启动和拥塞窗口等其他方案，以实现拥塞避免。

拥塞避免既可以是线路上两个数据包之间的“真正”拥塞，也可以是数据包丢失，因为您的 CPU/NIC/其他设备无法处理数据包带宽。

为什么几乎无关紧要？

那是因为在某些情况下，我们可能会因为两个并行会话而出现拥塞。

这是一个愚蠢的例子，可以解释为什么它很重要：

具有 8bit/s NIC 带宽能力的计算机试图创建一个并行会话。一旦他将并行发送“SYN”，就会有一个拥塞。由于 8bit 是这台特定计算机可以的最小位数发送一个数据包，拥塞将不允许计算机使用互联网。

根据您的 TCP 窗口函数/方法，始终使用并行下载会更快。

如果某些中间节点（接入点/交换机/路由器/防火墙/代理）进入饱和状态。它必须丢弃一些数据包。

最简单的方法是拖尾。但是防火墙和路由器也可以有更复杂的流量整形器，例如

如果您尝试并行下载，并且带宽在其他流量之间共享，则会生成更多数据包或更多连接（用于每个连接的流量整形），这样你就可以获得一些速度