是否可以通过Fastparquet阅读器使用Dask读取手动分区的Parquet数据集？

如何解决是否可以通过Fastparquet阅读器使用Dask读取手动分区的Parquet数据集？

我创建了一个Parquet数据集，其划分如下：

2019-taxi-trips/
    - month=1/
        - data.parquet
    - month=2/
        - data.parquet
    ...
    - month=12/
        - data.parquet

该组织遵循Hive metastore使用的Parquet dataset partitioning convention。该分区方案是手工生成的，因此目录树中的任何地方都没有_Metadata文件。

我现在想将此数据集读入dask。

数据位于本地磁盘上时，以下代码有效：

import dask.dataframe as dd
dd.read_parquet(
    "/Users/alekseybilogur/Desktop/2019-taxi-trips/*/data.parquet",engine="fastparquet"
)

我将这些文件复制到S3存储桶中（通过s3 sync；分区文件夹是存储桶中的顶级密钥like so），并尝试使用相同的基本功能从云存储中读取它们：

import dask.dataframe as dd; dd.read_parquet(
    "s3://2019-nyc-taxi-trips/*/data.parquet",storage_options={
        "key": "...","secret": "..."
    },engine="fastparquet")

这引起IndexError: list index out of range。 Full stack trace here。

当前无法直接从AWS S3读取此类数据集吗？

解决方法

fastparquet中当前存在一个错误，导致该代码无法正常工作。有关详细信息，请参见Dask GH#6713。

同时，在解决此错误之前，解决此问题的一种简单方法是改为使用pyarrow后端。

dd.read_parquet(
    "s3://2019-nyc-taxi-trips/*/data.parquet",storage_options={
        "key": "...","secret": "..."
    },engine="pyarrow"
)