ipyparallel：在不重新启动集群的情况下清除/重置引擎名称空间的最可靠方法是什么？

如何解决ipyparallel：在不重新启动集群的情况下清除/重置引擎名称空间的最可靠方法是什么？

据我了解，ipython集群管理一组持久性名称空间（每个引擎一个）。结果，如果引擎engine_i导入的模块被修改，则杀死主解释器不足以使更改反映在engine_i的命名空间中。

这是一个玩具例子，说明了这一点：

#main.py
from ipyparallel import Client
from TC import test_class #TC is defined in the next code block

if __name__=="__main__":

    cl=Client()
    cl[:].execute("import TC")
    lv=cl.load_balanced_view()
    lv.block=True
    tc=test_class()
    res=lv.map(tc,[12,45])
    print(res)

仅由TC模块组成

#TC.py
class test_class:
    def __call__(self,y):
        return -1

在这里，考虑行刑

$npcluster start -n <any_number_of_engines>  --daemonize
$python3 main.py
[-1,-1]
$#open some editor and modify test_class.__call__ so that it returns -2 instead of -1
$python3 main.py #output is as expected,still [-1,-1] instead of [-2,-2]
[-1,-1]

这是可以预期的，因为引擎具有其自己的持久名称空间，并且一种简单的解决方案可以确保在引擎中包含对TC的更改只是为了杀死（ eg 通过{ {1}}），然后在运行脚本之前再次重新启动它们。

但是，在需要频繁修改模块的情况下，快速终止/重新启动引擎变得很乏味。到目前为止，我已经找到了一些潜在的解决方案，但是没有一个真正有用的：

1. 如果对直接导入到引擎名称空间的模块进行了修改，例如上面的$ipcluster stop：

   TC

   但是，这是非常有限的，因为它不是递归的（ eg ，如果cl[:].execute("from imp import reload; import TC; reload(TC)") 本身导入了TC.test_class.__call__并且我们修改了another_module，那么此解决方案将无法工作）。

2. 由于先前的解决方案存在问题，我尝试将ipython的another_module与deepreload结合使用：

   %autoreload

   由于到目前为止我还不了解的原因，这似乎根本不起作用。

3. ipython的神奇from IPython import get_ipython ipython=get_ipython() ipython.magic("%reload_ext autoreload") ipython.magic("%autoreload 2") cl[:].execute("import builtins;from IPython.lib import deepreload;builtins.reload=deepreload.reload;import TC;reload(TC)") 应该（按documentation)）清除名称空间，但不适用于引擎名称空间，包括上面给出的玩具示例中的内容。 / p>

4. 我试图改编here给出的第一个答案以清理引擎名称空间。但是，这似乎对重新导入已修改的模块没有帮助。

在我看来，因此，最可靠的解决方案是每次仅停止/重新启动引擎。看来%reset抛出cl.shutdown(restart=True)时甚至无法从脚本中完成此操作。是每个与NotImplementedError一起工作的人都在不断手动重新启动集群，还是我显然缺少某些东西？

解决方法

为了清除引擎的命名空间，ipyparallel 的 Client 对象（以及 DirectView 和 BroadcastView 对象）有一个 clear() 方法（documentation）正是如此。 例如：

>>> from ipyparallel import Client
>>> client = Client()
>>> dview = client[:]
>>> dview.block = True
>>> dview.execute('import TC')
<AsyncResult: execute:finished>
>>> dview.apply(dir)
[['In','Out','TC','_6f3c4b7b7576b8f6a12531042d4da9e4_5_args','_6f3c4b7b7576b8f6a12531042d4da9e4_5_f','_6f3c4b7b7576
b8f6a12531042d4da9e4_5_kwargs','_6f3c4b7b7576b8f6a12531042d4da9e4_5_result','__builtin__','__builtins__',...
>>> client.clear(client.ids)
<Future at 0x2576553edf0 state=pending>
# The TC module is gone. What remains are built-in symbols,as well as some variables created when using apply()
>>> dview.apply(dir)
[['In','_6f3c4b7b7576b8f6a12531042d4da9e4_13_args','_6f3c4b7b7576b8f6a12531042d4da9e4_13_f','_6f3c4b7b7576b8f6
a12531042d4da9e4_13_kwargs','_6f3c4b7b7576b8f6a12531042d4da9e4_13_result','__name__','
...

然而，这个函数对在引擎上重新加载模块没有帮助，这更多的是你真正想要做的，因为 Python 缓存加载的模块。 似乎没有一种方法可以重新加载始终有效的模块；除了您链接的问题外，this question、this question 和 this question 还针对不同情况提供了一些解决方案。