蛇形：传递不存在的输入或传递多个参数

如何解决蛇形：传递不存在的输入或传递多个参数

我正在努力编写一个蛇形管道来从 aws s3 实例下载文件。
因为我在s3上文件的组织和命名不一致，我不想使用snakemake的远程选项。相反，我混合使用了 grep 和 python 来枚举我想要在 s3 上的路径，并将它们放在一个文本文件中：

#s3paths.txt
s3://path/to/sample1.bam
s3://path/to/sample2.bam

在我的配置文件中，我指定了我想要使用的样本：

#config.yaml
samplesToDownload: [sample1,sample3,sample18]

我想创建一个管道，其中第一条规则从 s3 下载包含 config['samplesToDownload'] 中存在的字符串的文件。运行时代码片段为我执行此操作：

pathsToDownload: [path for path in s3paths.txt if path contains string in samplesToDownload]

所有这些工作正常，我留下了一个全局变量 pathsToDownload 看起来像这样：

pathsToDownload: ['s3://path/to/sample1.bam','s3://path/to/sample3.bam','s3://path/to/sample18.bam']

现在我试着让蛇形参与并挣扎。如果我尝试将 python 变量放入输入中，snakemake 会拒绝，因为该文件在本地不存在：

rule download_bams_from_s3:
   input: 
      s3Path = pathsToDownload
   output:
      expand(where/I/want/file/{sample}.bam,sample=config['samplesToDownload'])
   shell:
       aws s3 cp {input.s3Path} where/I/want/file/{sample}.bam

这会失败，因为找不到 input.s3Path，因为它是 s3 上的路径，而不是本地路径。然后我尝试做同样的事情，但将 pathsToDownload 作为参数：

rule download_bams_from_s3:
   params: 
      s3Path = pathsToDownload
   output:
      expand(where/I/want/file/{sample}.bam,sample=config['samplesToDownload'])
   shell:
       aws s3 cp {params.s3Path} where/I/want/file/{sample}.bam

这不会产生错误，但会产生错误类型的 shell 命令。而不是产生我想要的，这是 3 个 shell 命令：

shell: aws s3 cp path/to/sample1 where/I/want/file/sample1.bam
shell: aws s3 cp path/to/sample3 where/I/want/file/sample3.bam
shell: aws s3 cp path/to/sample18 where/I/want/file/sample18.bam

它生成一个包含所有三个路径的 shell 命令：

shell: aws s3 cp path/to/sample1 path/to/sample3 path/to/sample18 where/I/want/file/sample1.bam where/I/want/file/sample3.bam where/I/want/file/sample18.bam

即使我能够正确构建一个庞大的 shell 命令，这也不是我想要的，因为我希望单独的 shell 命令能够利用snakemakes 并行化和不重新下载已存在的相同文件的能力。
我觉得snakemake的这个用例不是一个大问题，但我花了几个小时试图构建一些可行的东西却无济于事。非常感谢干净的解决方案！

解决方法

您可以创建一个字典，将样本映射到 aws 路径，并使用该字典逐个下载文件。喜欢：

samplesToDownload = [sample1,sample3,sample18]

pathsToDownload = ['s3://path/to/sample1.bam','s3://path/to/sample3.bam','s3://path/to/sample18.bam']

samplesToPaths = dict(zip(samplesToDownload,pathsToDownload))

rule all:
    input:
        expand('where/I/want/file/{sample}.bam',sample= samplesToDownload),rule download_bams_from_s3:
    params:
        s3Path= lambda wc: samplesToPaths[wc.sample],output:
        bam='where/I/want/file/{sample}.bam',shell:
        r"""
        aws s3 cp {params.s3Path} {output.bam}
        """