如何解决io.Copy 与 gsutil - 将大文件复制到 GS
经过大量测试,我们在使用 GS Go 客户端库时似乎无法匹配 gsutil 的速度。
即使是具有最简单 io.copy()
的骨架文件,使用最简单的 gsutil 也会花费很多时间。
ctx := context.Background()
client,err := storage.NewClient(ctx,option.WithCredentialsFile(*flags.credsFile))
bucket := client.Bucket("my_bucket")
File,_ := os.Open("path_to_file")
wc := bucket.Object("remoteFile").NewWriter(ctx)
_,_ = io.copy(wc,File)
err = wc.Close()
当缓冲区为 128x1024 时,也尝试使用 io.copyBuffer()
,效果更好,但仍然很慢。
有什么办法可以在使用 go 时加快上传速度?我们不想调用任何外部实用程序...
解决方法
听起来 io.Copy 实现不是 GCS 感知的,而是进行实际的字节复制(从源文件读取并写入目标文件)。相比之下,gsutil 正在调用 GCS Rewrite API,对于源和目标位于相同位置和存储类的情况,它将执行仅元数据复制(避免字节复制)。这样做的速度要快得多,这将与您观察到的性能相匹配。
您能否使用 GCS 感知 Go 实现——即调用 Rewrite 而不是读取/写入底层对象字节的实现?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。