如何使用 Python smart_open 模块通过服务器端加密写入 S3

如何解决如何使用 Python smart_open 模块通过服务器端加密写入 S3

在旧版本 (smart_open 模块中，您可以像这样使用服务器端加密写入 S3 位置：

import smart_open
writer = smart_open.open("s3://bucket-name/path/to/file.txt",'w',transport_params={'multipart_upload_kwargs':{'ServerSideEncryption': 'AES256'}})
writer.write("nothing to see here\n")
writer.close()

但是，底层机制在 5.0.0 版中发生了变化（请参阅 here）。旧的方法不再有效。就像我没有传递加密参数一样：

ValueError: the bucket 'bucket-name' does not exist,or is forbidden for access (ClientError('An error occurred (AccessDenied) when calling the CreateMultipartUpload operation: Access Denied'))

我发现文档令人困惑并且不足以自己弄清楚。如何使用较新版本的 smart_open 加密写入 S3？

解决方法

从 smart_open 团队得到了非常快速且有用的回复。这是它在 smart_open 5.0.0 版中的工作原理

import smart_open
client_kwargs = {'S3.Client.create_multipart_upload': {'ServerSideEncryption': 'AES256'}}
writer = smart_open.open("s3://bucket-name/path/to/file.txt",'w',transport_params={'client_kwargs': client_kwargs})
writer.write("nothing to see here\n")
writer.close()

通过这个简单的改变，它的效果还是一如既往的好！