如何解决通过DASK连接非常大的数据帧
我有大型的csv文件(每个3gb 5个csv),并且需要在不崩溃的情况下将它们连接起来。 根据之前发布的一些问题和答案,我尝试使用dask。它帮助我合并了所有文件,但生成了部分文件。如下图所示。
但是我需要一个完整的csv文件pickle_to_audiodf.csv
import os,glob
import pandas as pd
import dask
import dask.dataframe as dask_frame
from dask.distributed import Client,LocalCluster
csv1 = 'Preprocessing_Info/Prepro/pickle_to_audiodf_1.csv'
csv2 = 'Preprocessing_Info/Prepro/pickle_to_audiodf_2.csv'
csv3 = 'Preprocessing_Info/Prepro/pickle_to_audiodf_3.csv'
csv4 = 'Preprocessing_Info/Prepro/pickle_to_audiodf_4.csv'
csv5 = 'Preprocessing_Info/Prepro/pickle_to_audiodf_5.csv'
df1 = dask_frame.read_csv(csv1)
df2 = dask_frame.read_csv(csv2)
df3 = dask_frame.read_csv(csv3)
df4 = dask_frame.read_csv(csv4)
df5 = dask_frame.read_csv(csv5)
result = dask_frame.concat([df1,df2,df3,df4,df5],ignore_index = True)
result.to_csv('Preprocessing_Info/Prepro/pickle_to_audiodf.csv')
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。