在 Nextflow 和 Google Lifescience 中同时使用常规和抢占式机器

如何解决在 Nextflow 和 Google Lifescience 中同时使用常规和抢占式机器

考虑有三个进程，它们一个接一个地运行。第一个不能抢占，第二个可以抢占，第三个不能抢占。

我的配置如下：

google {
    project = "cool-name"
    region = "cool-region"
    
    lifeSciences {
        bootdiskSize = "200 GB"
        debug = true
        preemptible = false
    }
}

像这样使用preemptible = false，三个进程都不能被抢占。是否可以以某种方式使第二个进程可抢占？

解决方法

我认为您应该能够使用 process selector（即 withName 或 withLabel）为您的流程指定所需的配置选项：

process {
    withName: 'second_process' {
        google.lifeSciences.preemptible = true
    }
}

这应该覆盖您在配置中为第二个进程指定的“默认”值。

---

这是一个示例，仅使用 echo 指令：

test.nf 的内容：

nextflow.enable.dsl=2

process second_process {

    script:
    "echo HelloWorld"
}

workflow {

    second_process()
}

nextflow.config 的内容：

process {
    withName: 'second_process' {
        echo = true
    }
}

运行使用：

nextflow run -ansi-log false test.nf

示例输出：

N E X T F L O W  ~  version 20.10.0
Launching `test.nf` [nauseous_linnaeus] - revision: 6c35b71798
[78/cc161d] Submitted process > second_process
HelloWorld