Python多重处理'NoneType'对象没有属性'split'

如何解决Python多重处理'NoneType'对象没有属性'split'

我正在尝试使用多处理来加快python脚本的速度。该脚本应该一次处理一个文件中的一个单词，其中每个单词在文件中的单独一行上。在大多数情况下，它都有效，但有时会将“ nonetype”对象传递给process_chunk，并引发此错误：

'nonetype' object has no attribute 'split'

我基于[此模板] [1]创建代码。

这是创建池的代码：

p = multiprocessing.Pool()
with open(filename,'r') as swaps_file:
    for chunk in grouper(2000,swaps_file):
        p.map(process_chunk,chunk)

这是应该将文件分成大块的石斑鱼：

def grouper(n,iterable,padvalue=None):
    """grouper(3,'abcdefg','x') -->
    ('a','b','c'),('d','e','f'),('g','x','x')"""
    return itertools.zip_longest(*[iter(iterable)]*n,fillvalue=padvalue)

这是每个块的处理。我只想一次处理一个字：

def process_chunk(d):
    word = d.strip()
    do_stuff(word)

d.strip（）应该从行尾删除换行符，因此我只处理单词。问题是，有时会在'nonetype'对象上调用process_chunk，但我不确定为什么。用户在github模板上说

我对此代码进行了一些测试，并观察到类似以下内容：如果（test_data中的行数％multiprocessing.pools的数量== 0），则代码完成了，否则代码抛出错误。您能否确认这是预期的？如果是，我应该如何解决？

这似乎是个问题，因为在nonetype对象上调用process_chunk的次数等于剩余的池数（传递给grouper的2000值减去文件％2000中的行数）。如果这确实是问题所在，那么改变池数或捕获异常的唯一方法是吗？还有其他问题吗？ [1]：https://gist.github.com/ngcrawford/2237170