rclone从存储桶到文件系统的缓慢传输

如何解决rclone从存储桶到文件系统的缓慢传输

我使用rclone在微型存储桶和共享存储之间传输数据。正在迁移商店，数据量约为200GB产品图片。每张图片都有自己的文件夹/路径。因此，有很多文件夹需要创建。 Rclone已安装在新服务器上，并且存储器通过san连接到服务器。转移过程进行了一周，目前我们的容量为170GB。一切正常，但我认为这确实很慢。从存储桶中转移到经典文件系统中这么慢是正常的吗？

解决方法

（算一下，速度仅为2.3Mbps。老实说，我不会为此速度付出任何代价。）

也许您应该分解问题并进行部分诊断。以下是一些常见的地方，请注意慢速传输（通常来说是任何文件传输）：

首先，网络和文件系统通常无法处理大量小文件，因此，要找出问题所在，请先将更大的文件上传到minio（1GB +）。对于每个步骤，请首先使用大文件进行测试。

1. 信号源的速度是否足够快？尝试将文件从minio复制到本地存储或Ramdisk（/ tmp通常是tmpfs，然后存储在RAM中，请使用mount进行检查）。
2. 目的地的速度是否足够快？尝试使用dd或其他磁盘性能测试实用程序。
3. 网络延迟是否很高？尝试ping或curl（使用timing）创建API
4. 到目的地的网络延迟是否很高？尝试iostat
5. 也许CPU是瓶颈？由于编码和解码工作需要相当多的计算能力。运行副本时尝试top。

再次，分别对大文件和碎片文件尝试这些步骤。零散文件很有可能成为问题。如果是这种情况，我将尝试在rclone中寻找并发选项。