微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Python拆分csv文件怎么做?Python如何拆分csv文件

csv文件是一种用来保存一定格式数据的字符分隔文件类型,而有些时候当csv文件太大时就需要将其拆分才方便保存以及读写操作。下面文章所要介绍的内容就是python快速拆分csv文件的详细代码教程,对此感兴趣的话可以往下看看学习一下。

1.那么首先需要将pandas这个第三方库导入进来,没有的话在命令行通过pip工具将其下载安装好。然后调用该第三方库的read_csv()方法将需要拆分的csv文件读取进来,这个方法执行时如果文件过大可能会需要一段较长的时间。

然后再通过len()方法获取这个文件总行数,读取完成之后它就会保存在Dataframe这个数据类型的对象之中。之后定义变量并赋值整数,它决定了拆分后每个文件所保存的数据量,代码如下所示:

import pandas as pd
df = pd.read_csv("../super_big.csv")
row_num = len(df)
step = 400

2.第二步则是创建for循环迭代结果,而遍历的是range()函数生成的可迭代对象。而该函数内传入的参数依次是0、csv文件总行数以及小文件数据量,这样就可以在每次迭代之后去给文件命名了。

而循环之中先使用本次迭代变量加上每个文件的数据量,那么此时得到的就是这一次所拆分的数据,再使用这两个值来给拆分后的文件命名。用df[]切片语法获取指定行数据,最后调用to_csv()方法将其给保存起来就行,代码示例如下所示:

for start in range(0, row_num, step):
    stop = start + step
    filename = "./small_{}-{}.csv".format(start, stop)
    d = df[start: stop]
    d.to_csv(filename, index=None)

以上就是关于“Python拆分csv文件怎么做?Python如何拆分csv文件”的全部内容了,希望对你有所帮助。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐