xarray 使用 cfgrib 在 s3 上读取远程 grib 文件

如何解决xarray 使用 cfgrib 在 s3 上读取远程 grib 文件

crgrib 引擎可以处理读取远程文件吗？根据马丁杜兰特的评论，它看起来不像 (https://github.com/ecmwf/cfgrib/issues/198#issuecomment-772852412)

s3 上托管了一个很小的 ​​grib 文件：https://mf-nwp-models.s3.amazonaws.com/index.html#arpege-world/v2/2021-02-16/00/UGRD/10m/（注意不要点击文件，因为它会下载）。

当我尝试阅读它时使用 X_train,X_test,ylo_train,ylo_test = train_test_split( X,ylo,test_size=0.19,random_state=1) _,_,yhi_train,yhi_test = train_test_split( X,yhi,random_state=1) 我得到

sf3s

解决方法

我认为是通过 https://filesystem-spec.readthedocs.io/en/latest/features.html#caching-files-locally

import fsspec
import xarray as xr

uri = "simplecache::s3://mf-nwp-models/arpege-world/v2/2021-02-16/00/UGRD/10m/0h.grib2"

file = fsspec.open_local(uri,s3={'anon': True},filecache={'cache_storage':'/tmp/files'})

ds = xr.open_dataset(file,engine="cfgrib")