微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

在 Amazon S3 中编写 netcdf 文件

如何解决在 Amazon S3 中编写 netcdf 文件

我需要将 netcdf 文件写入 S3。我可以使用 xarray 读取文件,但无法在 S3 中写入文件。一种选择是在本地创建文件并在 S3 中上传,但由于我有大于 100GB 的大文件,这将非常低效。
S3中使用xarray读取文件代码如下所示:

import xarray as xr
from netCDF4 import Dataset,num2date

import yaml
import boto3
import s3fs

yamlkeysPath = "S3/keys.yaml"
yamlfile =open(yamlkeysPath)
keys = yaml.load(yamlfile,Loader=yaml.FullLoader)    

s3 = boto3.resource(
    service_name='s3',region_name=keys['region_name'],aws_access_key_id=keys['aws_access_key_id'],aws_secret_access_key=keys['aws_secret_access_key'])

s3Client = boto3.client(
    service_name='s3',aws_secret_access_key=keys['aws_secret_access_key'])

s3system = s3fs.S3FileSystem(anon=False) # uses default credentials
    
ncdata_obj = s3system.open(FileLocationinS3,mode='rb')
ncdata = xr.open_dataset(ncdata_obj)

有没有一种简单的方法可以在 S3 中编写 netcdf 文件?类似于 xarray 的 to_netcdf 的东西。下面的代码显示错误'权限被拒绝'

ncdata.to_netcdf(AnotherS3Location)

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。