使用 Pyarrow 压缩/合并镶木地板文件？

如何解决使用 Pyarrow 压缩/合并镶木地板文件？

我想将小的镶木地板文件合并为 1 或 2 个较大的文件。是否可以设置最大文件大小？我的目标是获取 200MB-1GB 之间的文件以优化 Athena 请求。用 Pyarrow 可以做到吗？

解决方法

目前（使用版本 2）无法设置最大文件大小。您可以做的一件事是使用 pyarrow.parquet.ParquetWriter 类以块的形式编写写入文件。写入块后，您可以检查当前写入内容的大小。关闭写入器后，将有更多数据添加到文件中，但通常小于 64kb。一定不要选择太小的行组，因为这会破坏 Parquet 的压缩和编码性能。我建议选择一个块大小（行数），在您的情况下通常会产生 50MiB 的数据。