在Snakemake管道中添加自动QC，以在管道步骤的中间过滤出质量较差的样品

如何解决在Snakemake管道中添加自动QC，以在管道步骤的中间过滤出质量较差的样品

我的问题与此类似：Conditional execution of multiplexed analysis with snakemake

我在shell中用“ if-else”尝试了dariober的要点答案，但是else句子输出的空文件或文件夹将始终被snakemake删除，snakemake将报告错误（我甚至为每个shell添加了“ || true”命令以防止非零退出代码，但仍然无济于事。如果我在snakemake之外运行if-else外壳程序，则会生成文件和文件夹。

然后我尝试在“运行”部分中编写python脚本而不是shell，例如：

rule G_move_7:
    input: 
        passORnot_file = '{sample}/XXX_RData/{sample}.passORnot.txt',sample_folder = '{sample}',filtered_bam = '{sample}.Aligned.out.filtered.bam',output: 
        move_log = '{sample}.log',output
    run:
        with checkpoints.F_XXX_withCheck_6.get(sample=wildcards.sample).output[2].open() as f:
            if f.read().strip() == "PASS":
                os.system("mv -f" + input.filtered_bam + " ./PASS/ > " + output.move_log)
                os.system("mv -f" + input.sample_folder + " ./PASS/ >> " + output.move_log)
                os.system("echo " + input.sample_folder + " ./PASS/ >> " + output.move_log)
            else:
                os.system("mv -f" + input.filtered_bam + " ./NOT_PASS/ > " + output.move_log)
                os.system("mv -f" + input.sample_folder + " ./NOT_PASS/ >> " + output.move_log)
                os.system("echo " + input.sample_folder + " ./NOT_PASS/ >> " + output.move_log)

这可行，但是在将所有传递的样本都放入文件夹“ PASS”之后，我必须使用新的snakemake文件运行下游步骤，才能对PASS文件夹中的每个样本使用通配符。所以现在我的管道被削减为两部分。我必须先运行第二个，然后运行第二个蛇形文件。只需一个“通过或不通过”条件就可以了，但是如果我们添加更多质量检查步骤，这将变得无穷无尽，无法实现。

想知道是否有更有效，更优雅的方法来进行蛇形样品的这种自动QC和滤除不良样品？ （或其他替代方法？）最好在一个脚本内编写所有质量控制和过滤 管道文件。谢谢。

解决方法

让我从这里重复我的回答：https://stackoverflow.com/a/63848059/7070491

对此类问题的规范解决方案是使用检查点。考虑以下示例：

import pandas as pd

def get_results(wildcards):
    qc = pd.read_csv(checkpoints.qc.get().output[0].open(),sep="\t")
    return expand(
        "results/processed/{sample}.txt",sample=qc[qc["some-qc-criterion"] > config["qc-threshold"]]["sample"]
    )


rule all:
    input:
        get_results


checkpoint qc:
    input:
        expand("results/preprocessed/{sample}.txt",sample=config["samples"])
    output:
        "results/qc.tsv"
    shell:
        "perfom-qc {input} > {output}"


rule process:
    input:
        "results/preprocessed/{sample}.txt"
    output:
        "results/processed/{sample.txt}"
    shell:
        "process {input} > {output}"

想法如下：在管道中的某个点上，经过一些（比如说）预处理之后，您添加了一个检查点规则，该规则将汇总所有样本并生成某种QC表。然后，在其下游，有一个规则汇总样本（例如，规则all或工作流内部的其他汇总）。假设在该汇总中，您只想考虑通过QC的样本。为此，您可以通过输入函数确定所需的文件（"results/processed/{sample}.txt"），该函数读取由检查点规则生成的QC表。 Snakemake的检查点机制确保在执行检查点后 对该输入函数进行求值，以便您可以实际读取表结果，并根据该表中包含的qc标准对样本进行决策。重新评估DAG时，Snakemake将自动应用所有中间规则（例如此处的process规则）。