如何解决如何将分区的 Apache Arrow 或 Parquet 文件读入/写出 Julia
我正在尝试在 Julia 中读取和写入一个简单的数据集。数据集是 mtcars，取自 R，具有任意添加的列 bt 和随机布尔值。文件/文件夹结构（如下）是使用 R arrow 包写出的。
文件排列如下：
arr
|-- bt=false
| `-- part-1.arrow
`-- bt=true
`-- part-0.arrow
如何在 Julia 中忠实地重现原始表？
到目前为止我尝试过的：
-
使用
Parquet.jl包。文档建议它应该自动检测 bool/string/date 类型列的分区文件夹结构。当我使用read_parquet(path; kwargs)读入数据时，生成的数据结构没有bt列。我曾尝试将column_generator关键字参数设置为默认的Parquet.dataset_column_generator，但这不起作用。 -
使用
Arrow.jl- 我找不到直接读取分区数据结构的记录方式（除非我误解了）。
R 不会生成额外的元数据文件来存储架构，但我知道这是可选的，而不是箭头规范的一部分？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
