微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

将多个镶木地板存储的数据帧合并为一个的空间高效方法

如何解决将多个镶木地板存储的数据帧合并为一个的空间高效方法

我有几个包含数据帧(具有相同列)的镶木地板文件,我想将它们合并到一个巨大的熊猫数据帧中。我能想到的最节省空间的解决方案是:

# to find all files
YEAR_LIST = range(2014,2020)

# using a generator rather than a list to only load data when necessary
my_frames = (pd.read_parquet(f"data_{year}") for year in YEAR_LIST)

# pandas inbuilt concat seems most efficient
df = pd.concat(my_frames,axis=1)

是否有更节省空间的解决方案?我愿意为了空间效率牺牲时间效率。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。