如何解决将具有多个输入的列表理解并行化 python
我有一个需要返回值的大数据集,但是运行它需要很长时间(我使用进度条运行列表理解),因此我正在考虑并行化列表理解。然而,当在小样本上运行它时,它需要比原始列表推导更长的时间。
这是我的列表理解,它将返回最近的 osmnx 节点
%%time
origins=[ox.get_nearest_node(G,(y[i],x[i])) for i in pbar(list(range(len(buildings))))]
这是我已经尝试过将 origin 作为带有参数 (G,y,x) 的函数的多处理。 Buildings 是一个包含所有建筑物几何形状的数据集。
x = [buildings.geometry[i].centroid.y for i in list(range(len(buildings)))]
y = [buildings.geometry[i].centroid.y for i in list(range(len(buildings)))]
params = ((G,orig,dest) for orig,dest in zip(y,x))
def origins(G,x,y):
return ox.get_nearest_node(G,(y,x))
#create a pool of worker processes
pool = mp.Pool(3)
#map the function/parameters to the worker processes
sma = pool.starmap_async(origins,params)
%%time
#get the results,close the pool,wait for worker processes to all exit
routes = sma.get()
pool.close()
pool.join()
有人可以帮助我并行化我的列表理解,从而使我的过程更快
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。