如何解决在多处理过程中保持统一计数?
普通全局变量不像线程之间共享那样在进程之间共享。您需要使用流程感知的数据结构。对于您的用例,amultiprocessing.Value
应该可以正常工作:
import multiprocessing
def runmycode(result_queue, iterations):
print("Requested...")
while 1==1: # This is an infinite loop, so I assume you want something else here
with iterations.get_lock(): # Need a lock because incrementing isn't atomic
iterations.value += 1
if "result found (for example)":
result_queue.put("result!")
print("Done")
if __name__ == "__main__":
processs = []
result_queue = multiprocessing.Queue()
iterations = multiprocessing.Value('i', 0)
for n in range(4): # start 4 processes
process = multiprocessing.Process(target=runmycode, args=(result_queue, iterations))
process.start()
processs.append(process)
print("Waiting for result...")
result = result_queue.get() # wait
for process in processs: # then kill them all off
process.terminate()
print("Got result: {}".format(result))
print("Total iterations {}".format(iterations.value))
一些注意事项:
- 我明确将传递
Value
给子代,以保持代码与Windows兼容,Windows无法在父代和子代之间共享读/写全局变量。 - 我用锁保护了增量,因为它不是原子操作,并且容易受到竞争条件的影响。
- 我
if __name__ == "__main__":
再次添加了一个保护措施,以帮助与Windows兼容,并作为一般的最佳实践。
解决方法
我有一个运行蒙特卡罗模拟的python程序,以找到概率问题的答案。我正在使用多重处理,这是伪代码
import multiprocessing
def runmycode(result_queue):
print "Requested..."
while 1==1:
iterations +=1
if "result found (for example)":
result_queue.put("result!")
print "Done"
processs = []
result_queue = multiprocessing.Queue()
for n in range(4): # start 4 processes
process = multiprocessing.Process(target=runmycode,args=[result_queue])
process.start()
processs.append(process)
print "Waiting for result..."
result = result_queue.get() # wait
for process in processs: # then kill them all off
process.terminate()
print "Got result:",result
我想扩展此范围,以便可以对已运行的迭代次数进行统一计数。就像线程1运行了100次,线程2运行了100次一样,我想显示总共200次迭代,作为控制台打印。我指的iterations
是线程过程中的变量。如何确保所有线程都添加到同一变量?我认为使用的Global
版本iterations
会行得通,但行不通。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。