Snakemake 多个通配符和 argparse 参数

如何解决Snakemake 多个通配符和 argparse 参数

我是蛇形的新手，发现它很难做最简单的事情。为了说明，我编写了一个程序 adding_text.py，它采用输入目录、输出目录和索引（来自输入目录的 os.listdir）的参数 (argparse) 来处理一些文本文件。

这是我的文件结构：

identity_category1  
|----A.txt -> text A identity  
|----B.txt -> text B identity  
|----C.txt -> text C identity  
identity_category2  
|----P.txt -> text P identity  
|----Q.txt -> text Q identity  
|----R.txt -> text R identity  
identity_category3  
|----X.txt -> text X identity  
|----Y.txt -> text Y identity  
|----Z.txt -> text Z identity  

这是我的代码adding_text.py：

import argparse
import os
my_parser = argparse.ArgumentParser(usage='python %(prog)s [-h] input_dir output_dir file_index')
my_parser.add_argument('input_dir',type=str)
my_parser.add_argument('output_dir',type=str)
my_parser.add_argument('file_index',type=int)
args = my_parser.parse_args()

input_dir = args.input_dir
output_dir = args.output_dir
file_index = args.file_index
if not os.path.exists(output_dir):
    os.mkdir(output_dir)

filelist = os.listdir(input_dir)
input_file = open(os.path.join(input_dir,filelist[file_index]),'r')
output_file = open(os.path.join(output_dir,filelist[file_index].split('.')[0] + '_added.txt'),'w')
output_file.write(input_file.read() + ' has been added\n')

我所做的只是在控制台发出以下命令：

python adding_text.py identity_category1 1_added 0
python adding_text.py identity_category1 1_added 1
python adding_text.py identity_category1 1_added 2
python adding_text.py identity_category2 2_added 0
python adding_text.py identity_category2 2_added 1
python adding_text.py identity_category2 2_added 2
python adding_text.py identity_category3 3_added 0
python adding_text.py identity_category3 3_added 1
python adding_text.py identity_category3 3_added 2

并得到以下输出（结构）：

1_added
|----A_added.txt -> text A identity has been added
|----B_added.txt -> text B identity has been added
|----C_added.txt -> text C identity has been added
2_added
|----P_added.txt -> text P identity has been added
|----Q_added.txt -> text Q identity has been added
|----R_added.txt -> text R identity has been added
3_added
|----X_added.txt -> text X identity has been added
|----Y_added.txt -> text Y identity has been added
|----Z_added.txt -> text Z identity has been added

所以python编码不是问题。问题是当我试图围绕该问题设计一个蛇形工作流程时，涉及多个通配符、依赖项等。我的 possible_snakefile 看起来像这样

NUM = ["1","2","3"]
SAMPLE = ["A","B","C"]

rule add_text:
    input: 
        expand("identity_category{num}/{sample}.txt",num=NUM,sample=SAMPLE)
    output: 
        expand("{num}_added/{sample}_added.txt",sample=SAMPLE)
    run:
        for index in range(0,3):
            shell("python adding_text.py identity_category{num} {num}_added index")

当我尝试指定目标并通过 snakemake --cores 1 -n -s possible_snakefile 1_added/A_added.txt 执行试运行时，它错误地映射了输入目录和相应的文件，并向我抛出此错误：

MissingInputException in line 4 possible_snakefile:
Missing input files for rule add_text:
identity_category3/C.txt
identity_category2/A.txt
identity_category3/B.txt
identity_category2/B.txt
identity_category2/C.txt
identity_category3/A.txt

我确信它非常简单，但我无法理解它。即 possible_snakefile 中的不同通配符规范或在命令行中指定不同的目标文件。我很感激这里的帮助。谢谢

解决方法

首先，您的设计不是很好，因为它依赖于文件名的顺序。这意味着如果您在 identity_category{num} 目录中再添加一个文件，结果将会改变。这使管道复杂化，使其更难以预测，我建议您重新编写脚本并使依赖项明确。无论如何，在我的其余答案中，我会假设脚本是您无法更改的。

您需要指定一个目标：管道应生成的文件（或一组文件或目录）。该目标不应有通配符，因为目标应是明确的。使用您的脚本，目标是什么并不那么明显，但您可以指定 {num}_added 目录组您打算从管道中获取什么：

rule target:
    input:
        expand("{num}_added",num=NUM)

请注意，此处的 {num} 不是通配符，因为它已在 expand 函数中完全解析。实际上这个函数会返回一个包含三个元素的列表：["1_added","2_added","3_added"]，Snakemake 会知道要生成什么：

rule target:
    input:
        ["1_added","3_added"]

另外请注意，名称 target 是任意的，但这必须是您的 Snakefile 中的最高规则。

好的，现在 Snakemake 知道它需要生成 3 个对象，您可以指示它如何生成每个对象：

rule make_added:
    input:
        "identity_category{num}"
    output:
        "{num}_added"
    ...
    # some magic would come here later

此规则指示 Snakemake 生成单个 {num}_added 目录，它需要另一个目录 identity_category{num}，其中 {num} 必须匹配。这里的 {num} 是一个通配符，Snakemake 会自动替换它的值，并且它会运行这个规则 3 次（实际上是 len(NUM) 次）。

现在让我们调用您的脚本：

rule make_added:
    input:
        "identity_category{num}"
    output:
        "{num}_added"
    run:
        for index in range(0,3):
            shell("python adding_text.py identity_category{wildcards.num} {wildcards.num}_added {index}")

这里不能简单地通过名称命名通配符。此外，您需要将变量 index 放入大括号中。