如何解决将 C++ 数据写入 Apache Parquet:ParquetFileWriter 还是 Write Arrow Table?
我正在寻找在 Cpp/C++ 中将数据写入 Parquet 文件的正确方法。似乎有两种选择:直接写入 Parquet 或写入 Arrow 然后 Parquet。
是写入 Arrow 然后使用 WriteTable 转换为 Parquet 吗?性能考虑或易用性是否会促使人们使用 ParquetFileWriter 或其他一些工具直接写入 Parquet?
首先查看代码,似乎 ParquetFileWriter 是正确的选择。但是 usage in the unittest 看起来很笨重。
然后我 found the docs which say to use the WriteTable 释放 fn。 WriteTable 需要一个 Apache Arrow Table,所以看来我必须先写进去。一开始我很吃惊,因为我必须打开 Arrow 的盖子。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。