如何解决镶木地板文件如何加载到内存中的内部原理
我有一个关于镶木地板文件的问题。最近我生成了一个镶木地板文件，压缩后它大约是 1 GB，但最初它是大约 50 GB 的数据。但我的问题是，当我尝试将这个镶木地板文件加载到内存中时，它会抛出一个错误，提示无法为请求的资源分配内存。
MemoryError: Unable to allocate 1.08 GiB for an array with shape (10,14429306) and data type object。
我的问题：
Q1：当pandas 将parquet 文件加载到内存中时，它们会被解压缩。如果不是，为什么 1 GB 的镶木地板文件不能在 16 GB 的计算机上运行，而该计算机在运行时有大约 12 GB 的可用内存？
Q2：所以我什至尝试过使用 dask Dataframe，但我仍然没有发现它的出色性能！
Please let me kNow the internals of what happens while the data is loaded from parquet files. so that i Could learn more about the file format properties while loading into memory. And also dask documentation suggests to use it when data size exceeds memory. but in this case even after using dask i Couldn't get good performance,so is there any issue with any settings or is it with my computer.
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。