如何解决使用内存高效的方式从python创建流中的Parquet文件
在Python中创建Parquet文件最常见的方式是先创建一个Pandas数据框,然后使用pyarrow将表写入Parquet。我担心这可能会过度占用内存,因为它至少需要 个完整数据集副本存储在内存中才能创建熊猫数据框。
我想知道是否由于列压缩需求而需要将整个数据集加载到内存中,或者是否有一种更高效且基于流的方法。就我而言,我将以流方式接收记录。对于类似的csv输出过程,我们将批量写入磁盘的行数为1000,因此需要保留在内存中的行数永远不会达到完整数据集的大小。
我应该...吗?:
- 只需创建一个熊猫数据框,然后将其写入实木复合地板即可。 (意味着整个数据集都需要存储在内存中,但是我们将其视为必要条件。)
- 使用一些流友好的方法,在我们接收到它们时一次写入1000个左右的行,从而在整个过程中将总时间点ram消耗最小化。 (我没有看到有关如何执行此操作的任何文档,也不确定是否可以将其用于镶木地板。)
- 将所有内容写入CSV,然后使用功能来智能地读取/分析CSV内容并事后创建压缩实木复合地板。 (运行时间可能较慢,但内存配置文件较低,文件很大时失败的可能性也较小。)
有什么想法吗? 有建议吗?
解决方法
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。