如何解决gsutil cp成功,但是来自存储客户端的upload_from_filename方法失败
我想使用python中的Google存储客户端将文件上传到GCS,但是由于权限问题而失败,但是gsutil cp
成功了。我不明白为什么。
这是我使用gsutil
运行的内容:
BUCKET=abc
$ gcloud iam service-accounts keys create --iam-account $ACCOUNT key_file.json
created key [5006838b5984f1d3b4de6523239e9bbd2c7f7047] of type [json] as [key_file.json] for [serviceaccountname@myproject.iam.gserviceaccount.com]
$ gcloud auth activate-service-account --key-file key_file.json
Activated service account credentials for: [serviceaccountname@myproject.iam.gserviceaccount.com]
$ touch test.txt
$ gsutil cp test.txt gs://${BUCKET}/test.txt
Copying file://test.txt [Content-Type=text/plain]...
/ [1 files][ 0.0 B/ 0.0 B]
Operation completed over 1 objects.
这是我从python尝试过的事情:
from google.cloud import storage
import os
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = 'key_file.json' #same file as downloaded above
storage_client = storage.Client()
bucket_name = "abc" #the bucket name
source_file_name = "test.txt"
destination_blob_name = f"{source_file_name}"
with open(source_file_name,'w') as f:
f.write("lorem ipsum")
bucket = storage_client.bucket(bucket_name)
blob = bucket.blob(destination_blob_name)
blob.upload_from_filename(source_file_name)
该upload_from_filename()
函数因错误而失败:
google.api_core.exceptions.Forbidden:403 POST https://storage.googleapis.com/upload/storage/v1/b/abc/o?uploadType=multipart :(“请求失败并显示状态码” 403,“预期其中之一”,
)
我很困惑。我本来以为,如果这是从gsutil获得的,它将可以使用python存储客户端运行。任何建议都将受到欢迎。
解决方法
我已经深究了这个问题。是双重的。
- 我发现,如果存储对象
destination_blob_name
不已经存在,则代码将成功。如果对象 did 存在,则将发生上述错误。 -
$ACCOUNT
对存储桶的访问权限是由应用于存储桶的自定义角色提供的。当我向自定义角色添加权限storage.objects.get
和storage.objects.delete
时,即使对象已经存在,我的代码也成功了。
我发现storage.objects.get
和storage.objects.delete
被描述为
- 读取对象数据和元数据,但不包括ACL
- 删除对象
https://cloud.google.com/storage/docs/access-control/iam-permissions#object_permissions
我从中学到的东西是,在某些情况下(例如,当目标对象已经存在时),gsutil cp
要求对google.cloud.storage.blob.upload_from_filename()
具有不同的权限。如果在那里有人可以阐明这两个操作之间的区别,那么我希望能更好地理解它。
此错误(403)表示用户未获得Google Cloud Storage的授权来发出请求,基本上,您需要记住:
- 此错误的常见原因是存储桶权限(存储桶 ACL)设置不正确,无法允许您的应用访问。有关设置访问权限的信息,请参见Google Cloud Storage Authentication。
- 您可以在Cloud Storage Documentation.官方网站上看到不同的原因
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。