ipcluster 等待对象完成上传到引擎

如何解决ipcluster 等待对象完成上传到引擎

上传（即推送）对象到ipcluster引擎，我可以使用dview字典接口：

dview['object_name'] = object  # "upload command"

有时，当对象非常大时，将对象上传到所有引擎需要一段时间。

我有几个问题：

1. 有没有办法（使用现有工具）编写代码以等待对象完全加载到所有引擎？
2. 当对象太大和/或鉴于对象内存要求有太多引擎时，有没有办法（使用现有工具）监控总内存以避免MemoryError？

通常我只是在另一个终端窗口中关注 watch free -h，或者在代码中添加一个睡眠定时器，但我希望有更具体的方法来实现这一点（例如，而不是猜测睡眠多长时间以确保完整上传），特别是如果我想重新启动并从上到下运行笔记本或从命令行执行脚本 - 如果在将对象上传到引擎后代码移动得太快（代码执行上传命令但对象仍在加载到引擎）尝试检索作业的结果时会出现错误，因此笔记本不会运行完成。