如何在Python中切片生成器对象或迭代器

我想循环一个迭代器的“切片”.我不确定这是否可行,因为我知道切片迭代器是不可能的.我想做的是：

def f():
    for i in range(100):
        yield(i)
x = f()

for i in x[95:]:
    print(i)

这当然失败了：

---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-37-15f166d16ed2> in <module>()
  4 x = f()
  5 
----> 6 for i in x[95:]:
  7     print(i)

TypeError: 'generator' object is not subscriptable

是否有一种pythonic方式来循环生成器的“切片”？

基本上我实际关注的生成器读取一个非常大的文件并逐行执行一些操作.我想测试文件的切片以确保事情按预期执行,但让它在整个文件上运行是非常耗时的.

编辑：
如上所述,我需要在一个文件上.我希望有一种方法可以使用生成器显式指定这个例子：

import skbio

f = 'seqs.fna'
seqs = skbio.io.read(f,format='fasta')

seqs是一个生成器对象

for seq in itertools.islice(seqs,30516420,30516432):
    #do a bunch of stuff here
    pass

上面的代码做了我需要的,但是仍然非常慢,因为生成器仍然遍历所有行.我希望只遍历指定的切片

解决方法

一般来说,answer is itertools.islice,但你应该注意,islice不会,也不能,实际上跳过值.它只是在开始产生值之前抓取并丢弃起始值.因此,如果可能的话,当你需要跳过很多值和/或被跳过的值对于获取/计算来说是昂贵的时候,通常最好避免使用islice.如果您可以找到一种不首先生成值的方法,请执行此操作.在您(显然是做作的)示例中,您只需调整范围对象的起始索引.

在尝试在文件对象上运行的特定情况下,拉动大量行(特别是从慢速介质读取)可能并不理想.假设你不需要特定的行,你可以使用一个技巧来避免实际读取文件的大块,同时仍然测试到文件的一些距离,是寻找猜测的偏移,读出到行的末尾(为了丢弃你可能在中间寻找的部分线),然后从那一点开始,你需要很多线.例如：

import itertools

with open('myhugefile') as f:
    # Assuming roughly 80 characters per line,this seeks to somewhere roughly
    # around the 100,000th line without reading in the data preceding it
    f.seek(80 * 100000)
    next(f)  # Throw away the partial line you probably landed in the middle of
    for line in itertools.islice(f,100):  # Process 100 lines
        # Do stuff with each line

对于文件的特定情况,您可能还需要查看可以以类似方式使用的mmap(如果您正在处理数据块而不是文本行,则可能会非常有用,可能会随机随意跳转).

更新：根据您更新的问题,您需要查看您的api文档和/或数据格式,以确切了解如何正确跳过.它看起来像skbio offers some features for skipping using seq_num,but that’s still going to read if not process most of the file.如果数据以相同的序列长度写出,我会查看Alignment上的文档;通过例如by using Alignment.subalignment to create new Alignments that skip the rest of the data for you,对齐数据可以是可加载的而根本不处理前面的数据.

如何在Python中切片生成器对象或迭代器

解决方法

相关推荐