传递多个配置组

如何解决传递多个配置组

在我的config.yaml中，如何传递两个数据集，例如西法尔和cinic一次？我可以将多个配置组传递到默认列表吗？

这是当我想在混合数据集上训练模型，但又不想为每种可能的组合创建配置组的情况。

├── config.yaml
└── dataset
    ├──  cifar.yaml
    └── imagenet.yaml
    └── cinic.yaml

我尝试的方法如下：

dataset: 
  - cifar
  - cinic

这导致以下错误：

Could not load train_dataset/['cifar','cinic']. Available options 'cifar ... '

解决方法

当前配置组是互斥的。 计划在Hydra 1.1中对此提供支持。参见issue 499。

一种可能的解决方法是将所有内容都放入配置中并使用插值：

all_datasets:
  imagenet:
    name: imagenet
  cifar10:
    name: cifar10

datasets:
  - ${all_datasets.imagenet}
  - ${all_datasets.cifar10}

这样，您可以从命令行（使用插值）将数据集覆盖到其他数据集列表中。

如果您想以一些额外的代码为代价来简化用法，则可以执行以下操作：

all_datasets:
  ...

datasets_list:
  - imagenet
  - cifar10

datasets: []

@hydra.main(config_path="conf",config_name="config")
def my_app(cfg: DictConfig) -> None:
  for ds in cfg.datasets_list:
    cfg.datasets.append(cfg.all_datasets[ds])

if __name__ == "__main__":
    my_app()

我没有对此进行测试，但希望您能理解。