如何解决如何在函数内初始化并行独立进程?
对不起,如果标题很奇怪。让我解释一下。
假设有handler.py
:
import funcs
import requests
def initialize_calculate(data):
check_data(data)
funcs.calculate(data) # takes a lot of time like 30 minutes
print('Calculation launched')
requests.get('hostname',params={'func':'calculate','status':'launched'})
这是funcs.py
:
import requests
def calculate(data):
result = make_calculations(data)
requests.get('hostname','status':'finished','result':result})
所以我想要的是处理程序可以在任何地方初始化另一个函数,但是不要等到它结束,因为我想通知客户端该过程已开始,并且在完成后,该过程本身将发送结果完成时。
如何使用initialize_calculate
中的函数计算启动独立进程?
我想知道如果没有非本地库或框架,是否有可能。
解决方法
您可以使用multiprocessing
模块中的Process
class来做到这一点。
这里是一个例子:
from multiprocessing import Process
import requests
def calculate(data):
result = make_calculations(data)
requests.get('hostname',params={'func':'calculate','status':'finished','result':result})
def initialize_calculate(data):
check_data(data)
p = Process(target=calculate,args=(data,))
p.start()
print('Calculation launched')
requests.get('hostname','status':'launched'})
,
如果您不想使用像daemonocle这样的第三方库来实现“行为良好的” Unix-Daemon,则可以
使用subprocess.Popen()
创建一个独立的过程。另一种选择是修改multiprocessing.Process
,以防止在父母退出时孩子自动加入。
subprocess.Popen()
使用subprocess.Popen()
可以通过从终端手动指定命令和参数来开始新过程。这意味着您需要使funcs.py
或另一个文件成为顶级脚本,该脚本可以解析stdin中的字符串参数,然后使用这些参数调用funcs.calculate()
。
我将您的示例精简为精髓,因此我们不必阅读过多的代码。
funcs.py
#!/usr/bin/env python3
# UNIX: enable executable from terminal with: chmod +x filename
import os
import sys
import time
import psutil # 3rd party for demo
def print_msg(msg):
print(f"[{time.ctime()},pid: {os.getpid()}] --- {msg}")
def calculate(data,*args):
print_msg(f"parent pid: {psutil.Process().parent().pid},start calculate()")
for _ in range(int(500e6)):
pass
print_msg(f"parent pid: {psutil.Process().parent().pid},end calculate()")
if __name__ == '__main__':
if len(sys.argv) > 1:
calculate(*sys.argv[1:])
subp_main.py
#!/usr/bin/env python3
# UNIX: enable executable from terminal with: chmod +x filename
if __name__ == '__main__':
import time
import logging
import subprocess
import multiprocessing as mp
import funcs
mp.log_to_stderr(logging.DEBUG)
filename = funcs.__file__
data = ("data",42)
# in case filename is an executable you don't need "python" before `filename`:
subprocess.Popen(args=["python",filename,*[str(arg) for arg in data]])
time.sleep(1) # keep parent alive a bit longer for demo
funcs.print_msg(f"exiting")
对于测试很重要,它可以从终端运行,例如而不是PyCharm-Run,因为它不会显示孩子打印的内容。在下面的最后一行中,您看到子进程的父ID更改为1
,因为该子进程在父进程退出后被systemd(Ubuntu)所采用。
$> ./subp_main.py
[Fri Oct 23 20:14:44 2020,pid: 28650] --- parent pid: 28649,start calculate()
[Fri Oct 23 20:14:45 2020,pid: 28649] --- exiting
[INFO/MainProcess] process shutting down
[DEBUG/MainProcess] running all "atexit" finalizers with priority >= 0
[DEBUG/MainProcess] running the remaining "atexit" finalizers
$> [Fri Oct 23 20:14:54 2020,pid: 28650] --- parent pid: 1,end calculate()
class OrphanProcess(multiprocessing.Process)
如果您搜索更方便的内容,那么您就不能按原样使用高级multiprocessing.Process
,因为它不允许父进程在子进程之前退出 ,根据您的要求。当父进程关闭时,常规子进程将被加入(等待)或终止(如果您为daemon
设置了Process
标志)。这仍然在Python中发生。请注意,daemon
标志不会使进程成为 Unix -Daemon。命名是confusion的常见来源。
我继承了multiprocessing.Process
的子类,以关闭自动加入功能,并花一些时间处理源,并观察zombies是否可能成为问题。因为修改会关闭父级中的自动连接,所以我建议使用“ forkserver”作为Unix上新进程的启动方法(如果父级已经是多线程的,则始终是个好主意),以防止僵尸子级长时间停留父级仍在运行。当父进程终止时,其子僵尸最终通过systemd / init获得reaped。运行multiprocessing.log_to_stderr()
显示一切正常关闭,因此到目前为止似乎还没有损坏。
考虑这种方法是实验性的,但是它可能比使用原始的os.fork()
重新发明广泛的multiprocessing
机制的一部分要安全得多,只是增加了这一功能。要在子级中处理错误,请编写一个try-except块并记录到文件中。
orphan.py
import multiprocessing.util
import multiprocessing.process as mpp
import multiprocessing as mp
__all__ = ['OrphanProcess']
class OrphanProcess(mp.Process):
"""Process which won't be joined by parent on parent shutdown."""
def start(self):
super().start()
mpp._children.discard(self)
def __del__(self):
# Finalizer won't `.join()` the child because we discarded it,# so here last chance to reap a possible zombie from within Python.
# Otherwise systemd/init will reap eventually.
self.join(0)
orph_main.py
#!/usr/bin/env python3
# UNIX: enable executable from terminal with: chmod +x filename
if __name__ == '__main__':
import time
import logging
import multiprocessing as mp
from orphan import OrphanProcess
from funcs import print_msg,calculate
mp.set_start_method("forkserver")
mp.log_to_stderr(logging.DEBUG)
p = OrphanProcess(target=calculate,args=("data",42))
p.start()
time.sleep(1)
print_msg(f"exiting")
再次从终端进行测试,以将子打印输出到stdout。在第二个提示上打印完所有内容后,如果外壳似乎挂着,请按Enter键以获取新提示。 parent-id在此处保持不变,因为从操作系统的角度来看,父代是forkserver进程,而不是orph_main.py的初始主进程。
$> ./orph_main.py
[INFO/MainProcess] created temp directory /tmp/pymp-bd75vnol
[INFO/OrphanProcess-1] child process calling self.run()
[Fri Oct 23 21:18:29 2020,pid: 30998] --- parent pid: 30997,start calculate()
[Fri Oct 23 21:18:30 2020,pid: 30995] --- exiting
[INFO/MainProcess] process shutting down
[DEBUG/MainProcess] running all "atexit" finalizers with priority >= 0
[DEBUG/MainProcess] running the remaining "atexit" finalizers
$> [Fri Oct 23 21:18:38 2020,end calculate()
[INFO/OrphanProcess-1] process shutting down
[DEBUG/OrphanProcess-1] running all "atexit" finalizers with priority >= 0
[DEBUG/OrphanProcess-1] running the remaining "atexit" finalizers
[INFO/OrphanProcess-1] process exiting with exitcode 0
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。