微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Python如何读取大文件?Python读取大文件的两种方法

当我们在使用Python处理文件的时候,可能因为文件过大,从而导致在文件的读取中会出现memoryError错误文件读取太慢的问题,为了解决这个问题,今天的这篇文章给大家介绍了两种读取大文件方法,希望可以对大家的学习带来一定的帮助,下面一起来看看吧。

一、读取大的文本文件

1、使用With open()读取

这种方法的使用,是在文件关闭和打开的时候操作,当文件如果无法正常运行的时候会抛出一个内部块的异常,使用一个for循环进行迭代的操作,它会自动的采用缓冲IO和内存管理,所以你不必担心大文件。举个例子,代码如下:

with open(...) as f:
  for line in f:
    process(line)

2、使用read()方法读取

当我们对文件对象进行操作的时候,介绍过三个“读”方法: .read()、.readline() 和 .readlines()。在这三种不同的方式中,使用任意一种都有读取的限制,要读取一整个文件的时候,我们通常是不会使用.read()方法的,在使用它的时候,通常用于将文件内容放到一个字符串变量中。然而.read() 生成文件内容最直接的字符串表示,但对于连续的面向行的处理,它却是不必要的,并且如果文件大于可用内存,则不可能实现这种处理。下面是read()方法示例:

try:
f = open('/path/to/file', 'r')
print f.read()
finally:
if f:
f.close()

以上就是关于Python如何读取大文件?Python读取大文件的两种方法的全部内容了,希望大家通过对这篇文章的学习能掌握到更多的python知识,如果还想学习更多的python知识,可以继续关注学习。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐