微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何过度分配作业或“回收” SLURM 分配,以便其他作业也可以使用它?

如何解决如何过度分配作业或“回收” SLURM 分配,以便其他作业也可以使用它?

我有某种用 Python 编写并使用 SLURM 的 Master-Worker 系统,其中:

  1. Master 通过 SLURM 在 HPC 的一个节点上启动
  2. Master 计算了一下
  3. Master 通过 SLURM 在其他 HPC 节点上启动作业
  4. Master 保持活动状态以监视所有当前作业的结束(如果为真,则转到 1。)

目前在第 2 步和第 3 步之间。Master 只是在等待一批作业完成,我有一点点计算资源的浪费,我想避免这种情况。

我想重新使用Master的分配,目前有点浪费,以便Master的分配可以承担我目前在第2步提交给其他HPC节点的一些作业。

我如何“回收”Master 的分配以在那里运行一些作业?

目前,Python(主)脚本知道其作业名称和作业 ID。从那里,如何检索此分配的“规格”并在那里“过度分配”另一份工作?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。