使用 PyArrow + Parquet + Google Cloud Storage 时如何实现谓词下推？

如何解决使用 PyArrow + Parquet + Google Cloud Storage 时如何实现谓词下推？

我真正想做的是（在 Python 中）：

import pyarrow.parquet as pq

# Note the 'columns' predicate...
table = pq.read_table('gs://my_bucket/my_blob.parquet',columns=['a','b','c'])

首先，我认为从 V3.0.0 开始，PyArrow 不支持 gs://。 所以我必须修改代码才能使用fsspec接口：https://arrow.apache.org/docs/python/filesystems.html

import pyarrow.parquet as pq
import gcsfs

fs = gcsfs.GCSFileSystem(project='my-google-project')
with fs.open('my_bucket/my_blob.parquet','rb') as file:
    table = pq.read_table(file.read(),'c'])

这是否实现了谓词下推（我对此表示怀疑，因为我已经用 file.read() 准备了整个文件），还是有更好的方法来实现？

解决方法

这行得通吗？

import pyarrow.parquet as pq
import gcsfs

fs = gcsfs.GCSFileSystem(project='my-google-project')
table = pq.read_table('gs://my_bucket/my_blob.parquet',columns=['a','b','c'],filesystem=fs)