在短时间内将大量文件上传到 GCP 存储桶时遇到瓶颈

如何解决在短时间内将大量文件上传到 GCP 存储桶时遇到瓶颈

所以我有一个 GCP 存储桶，我必须将文件上传到它。问题是我有 1000 万个文件要上传到存储桶中（每个文件大小为 50kb），并且我的时间限制为 8 小时或更短。目前，我正在使用 Java 程序 (google ref code) 并在 1000 张图像上对其进行测试，它在大约 300 毫秒内上传每个文件，但如果我使用多线程；我已经能够将平均时间减少到 40 毫秒（使用 20 个线程）。我最多可以使用 60 个线程并将时间进一步减少到 15-20 毫秒，但同时我也面临 3 个问题：

每个文件 20 毫秒还不够快。我需要它至少为 3 毫秒或更短。
当我超过 25 个线程时，它会抛出“com.google.cloud.storage.StorageException: Connect timed out”异常。
超过 60 个线程，程序似乎没有变得更快（我猜是硬件限制）。

附加信息：

我的网速是 700Mbps 到 1.3Gbps。我想过压缩和上传，但我们也有一些限制，所以不能使用这种方法。

提前致谢。

解决方法

您可能在 Cloud Storage 上有一个热点。您无法查看解释您为什么以及如何解决问题的 this video，即在顺序序列之前在您的文件名中添加一个哈希值。