如何解决Python-每个切片的切片可迭代增量列表转换
我有一个来自read_sql的生成器,并使用itertools.islice将此生成器转换为迭代器。因此,我使用start和stop参数在切片中将此生成器转换为迭代器。并且此过程循环运行,将生成器转换为迭代器,分为3个切片,并将迭代器转换为列表。
首次运行-> iterable_slice = list(it.islice(generator_df,3))
耗时2.99秒
第二次运行-> iterable_slice = list(it.islice(generator_df,4,6))
花费5.3秒
并使用每个新循环或下一组切片,列表转换将花费更多时间。
为什么会发生这种情况?我在哪里犯错?请想一想。谢谢。
#function to convert generator to slices
def gen_to_itr(generator_df,slice_start,slice_end):
iterable_slice = list(it.islice(generator_df,slice_end))
#main function
slices = 3
slice_start = 0
slice_end = slices
flg_cnt = 0
while slice_end <= bcnt and flg_cnt <= 1:
generator_df = pd.read_sql(query2,test_connection_forbankcv_connection,chunksize = 1800)
first = time.perf_counter()
iterable_slice = gen_to_itr(generator_df,slice_end)
end = time.perf_counter()
print(f'Chunk list created in {round(end-first,2)} second(s)')
slice_start = slice_start+slices
.....
解决方法
it.islice()
必须在创建新的迭代器时跳过生成器的前slice_start
个元素。这需要与slice_start
成比例的时间。
但是,我很难相信跳过熊猫系列的每个元素大约需要1秒钟。如果chunksize小于slice的大小,则可能需要从数据库中进行另一次获取以获取下一个chunk。但是,只要您位于同一块中,我认为它应该具有与遍历静态序列相同的速度。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。