如何解决Windows 上的多处理:如何允许子进程不必重新加载父进程加载的模块?
我知道多处理在 linux 和 Windows 中的启动方式不同,其中 linux fork() 和 window spawn()
生成
父进程启动一个新的python解释器进程。子进程将只继承运行进程对象 run() 方法所需的资源。特别是,父进程中不必要的文件描述符和句柄将不会被继承。与使用 fork 或 forkserver 相比,使用此方法启动进程相当慢。 [在 Unix 和 Windows 上可用。 Windows 和 macOS 上的默认设置。]
叉
父进程使用 os.fork() fork Python 解释器。子进程在开始时实际上与父进程相同。父进程的所有资源都由子进程继承。请注意,安全地分叉多线程进程是有问题的。 [仅在 Unix 上可用。 Unix 上的默认设置。]
我使用的是 Windows 并且我有一个脚本来导入一些个人模块。
main.py
导入 test.py
:
import test
import multiprocessing as mp
def f(x,y):
z = test.add(x,y)
print(z)
if __name__ == '__main__':
pool = mp.Pool(2)
pool.map(f,[(x,x+1,) for x in [1,2]])
理想情况下,这将产生 2 个进程。我想要做的是确保此过程中的每一个都不必再次重新导入 test.py
,因为 import test
是一个超繁重的加载过程。
我相信如果我能找到一种方法将 Windows 切换为使用 fork 而不是 spawn,它可能会解决问题。但我不是 100% 确定。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。