如何解决从 GCS 存储桶中的文件夹中删除数百万个对象
我需要从 GCS 存储桶中的文件夹中删除数百万个对象。 这是我目前的实现。
bucket = self.storage_client.bucket(bucket_name)
blobs = bucket.list_blobs(prefix=folder_name)
for blob in blobs:
blob.delete()
由于对象的数量较多,列出不是正确的方法。需要想办法做一些多线程的方法。
解决方法
如果要删除整个bucket对象,将bucket的生命周期设置为0是一种快速删除的方法。
但是当你想删除一个文件夹时,这种方法不适用(和删除整个对象的一部分一样)。
如果你要删除的文件夹占了整个objcet的大部分,我觉得通过生命周期管理删除整个bucket,用剩余的创建新bucket会更快一些。
Edit) 带有 -m
标志的 gsutil rm 命令可以进行多线程删除。这也可能是一种更快的方式。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。