微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

将 C++ 数据写入 Apache Parquet:ParquetFileWriter 还是 Write Arrow Table?

如何解决将 C++ 数据写入 Apache Parquet:ParquetFileWriter 还是 Write Arrow Table?

我正在寻找在 Cpp/C++ 中将数据写入 Parquet 文件的正确方法。似乎有两种选择:直接写入 Parquet 或写入 Arrow 然后 Parquet。

是写入 Arrow 然后使用 WriteTable 转换为 Parquet 吗?性能考虑或易用性是否会促使人们使用 ParquetFileWriter 或其他一些工具直接写入 Parquet?

首先查看代码,似乎 ParquetFileWriter 是正确的选择。但是 usage in the unittest 看起来很笨重。

然后我 found the docs which say to use the WriteTable 释放 fn。 WriteTable 需要一个 Apache Arrow Table,所以看来我必须先写进去。一开始我很吃惊,因为我必须打开 Arrow 的盖子。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其他元素将获得点击?
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。)
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbcDriver发生异常。为什么?
这是用Java进行XML解析的最佳库。
Java的PriorityQueue的内置迭代器不会以任何特定顺序遍历数据结构。为什么?
如何在Java中聆听按键时移动图像。
Java“Program to an interface”。这是什么意思?