def readf(file): t0 = time.time() data=pd.read_csv(file,low_memory=False,encoding='gbk' #,nrows=100 ) t1 = time.time() print('耗时%0.3f秒钟'%(t1-t0)) return data d1=readf(file1) t0 = time.time() d1.to_pickle('d1.pkl') t1 = time.time() print('耗时%0.3f秒钟'%(t1-t0)) t0 = time.time() d2=pd.read_pickle('d1.pkl') t1 = time.time() print('耗时%0.3f秒钟'%(t1-t0)) print(d1.shape) print(d2.shape)
测试读取40多万数据的速度:
耗时12.768秒钟
耗时1.561秒钟
耗时1.751秒钟
(468372, 77)
(468372, 77)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。