如何解决使用furrr函数时,是否可以修改集群资源分配的期货?
我在R脚本中使用了 future , future.batchtools 和 furrr 软件包,以便在管理的功能强大的。
当我定义未来的拓扑时,我将模板文件传递给future.bacthtools::batchtools_slurm()
,并使用resources =
参数为Slurm作业定义计算资源。
然后我运行furrr::future_pwalk()
函数时,将使用相同的资源(即我在batchtools_slurm()
中定义的资源)来评估每个未来。
是否有一种方法可以使作业使用不同的资源,具体取决于传递给furrr::future_pwalk()
的变量?
在此先感谢您的帮助!
解决方法
您可以预先调整未来的资源
library(future)
library("future.batchtools")
library(furrr)
slurm <- future::tweak(batchtools_slurm,template = "slurm_batchtools.tmpl",resources=list(
cores = 4
)
plan(slurm)
slurm_batchtools.tmpl 文件是
#!/bin/bash
#SBATCH --job-name=<%= job.name %>
#SBATCH --output=<%= log.file %>
#SBATCH --error=<%= log.file %>
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=<%= resources[["cores"]] %>
#SBATCH --mem-per-cpu=10000
<%= if (array.jobs) sprintf("#SBATCH --array=1-%i",nrow(jobs)) else "" %>
Rscript -e 'batchtools::doJobCollection("<%= uri %>")'
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。