如何解决Snakemake 工作流缓存
我遵循 official document 进行工作流缓存以避免冗余计算。它非常适合在本地计算机上运行 snakemake。但是,如果我将作业提交到 slurm 后端集群,它不会缓存结果并给出以下警告消息。
“工作流定义了规则 download_data 有资格在工作流之间缓存(使用 --cache 参数来启用它)。”
rule download_data:
output:
"results/data/worldcitiespop.csv"
cache: True
shell:
"curl -L https://burntsushi.net/stuff/worldcitiespop.csv > {output}"
slurm 简介:
jobs: 64
cluster: "sbatch -A account -p partition -J {rule}.job --qos partition --nodes=1 -t {resources.time_min} -c {resources.cpus} -o logs/cluster/{rule}_%A.out -e logs/cluster/{rule}_%A.err"
default-resources: [cpus=2,time_min=9600]
命令:
export SNAKEMAKE_OUTPUT_CACHE=<PATH_FOR_CACHE>
snakemake --cache --profile slurm
我还需要做什么才能正确缓存结果?谢谢!
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。