如何解决Jupyter ipython 内核在加载大文件时死亡
我有一个大约 10gbs 的巨大二进制文件,我想将它加载到我的 Jupyter 笔记本上的 Pandas 数据帧中。我正在使用以下代码创建数据框:
df = pd.DataFrame(np.fromfile('binary_file.dat',dtype = mydtype)) #the file has over 20 columns of dtype '<f8'
每次我运行这个命令时,我的内核都会死。在调试时,我发现 np.fromfile 命令通过但 pd.dataframe 命令是导致崩溃的命令。我在 4 核 16 GB Ubuntu AWS 服务器上运行它。我试过设置
os.environ['KMP_DUPLICATE_LIB_OK'] = '真'
根据 Stackoverflow 的回答,但没有帮助。如何在不使内核崩溃的情况下读取此文件?是否可以在不增加服务器 RAM 的情况下进行?
感谢任何和所有帮助。谢谢
解决方法
试试
df = pd.read_csv('.....\binary_file.dat',sep="however you dat-file is separated",engine ='python')
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。