微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

有没有直接的方法将 Dask 数据帧转换为 Xarray 数据集?

如何解决有没有直接的方法将 Dask 数据帧转换为 Xarray 数据集?

Xarray 和 dask 文档解释了如何使用 dask 支持将大型 NetCDF 数据集加载到 Xarray 中。但是如果我有一个非常大的 CSV 文件(> 1GB)怎么办?是否可以通过 daskthat 加载到 Xarray 数据集中?要么以与 dask 后端交互的方式将其加载到 Xarray 中,要么将其作为 dask 数据帧加载并将该数据帧转换为 Xarray 数据集?

我想对这个数据集使用 Xarray,因为它由实验结果组成,我想根据自变量的不同设置(我将用作维度)索引到实验结果中。

Xarray 的 from_dataframe() (http://xarray.pydata.org/en/stable/generated/xarray.Dataset.from_dataframe.html?highlight=from_dataframe) 只提到支持 Pandas DataFrames,没有提到 dask

dask 文档 (https://examples.dask.org/xarray.html) 描述仅从保存的 Xarray 数据集加载。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。