让每个子模块定义自己的子解析器

如何解决让每个子模块定义自己的子解析器

我必须运行依赖于相对较大项目的其余部分的主文件。项目结构可以这样看

main.py
opts.py
--models \
 --model1.py
 --model2.py
 ...
--schedulers
 --scheduler1.py
 --scheduler2.py
 ...
...

问题是当我必须将参数传递给每个组件时（使用argparse）。一种简单的方法是在一个位置为每个组件定义所有参数。到目前为止，这对我仍然有效（在opts.py中，但是我想做些更优雅的事情。在每个组件parse_models或parse_scheduler的解析函数中，我要遍历models和schedulers的每个子模块，并让它们通过调用函数{ {1}}每个人都有创建自己的子解析器的地方。

总而言之，如何遍历子模块并从define_arguments内调用其define_arguments函数？

解决方法

您可以使用glob模块遍历所有python文件。您可以使用父模块的__path__属性找到正确的路径。使用importlib.import_module导入模块。然后，导入的模块包含define_arguments函数，您可以为每个子模块传递一个解析器以定义以下参数：

from glob import glob
import os,importlib

def load_submodule_parsers(parent_module,parser,help=None):
  if help is None:
    help = parent_module.__name__ + " modules"
  modules = glob(os.path.join(parent_module.__path__,"*.py"))
  subparsers = parser.add_subparsers(help=help)
  for module_file in modules:
    module_name = os.path.basename(module_file)[:-3]
    if module == "__init__":
      continue
    module = importlib.import_module(module_name,package=parent_module.__name__)
    if "define_arguments" not in module.__dict__:
      raise ImportError(parent_module.__name__ + " submodule '" + module_name + "' does not have required 'define_arguments' function.")
    parser = subparsers.add_parser(module_name)
    module.define_arguments(parser)

将该函数传递给父模块对象：

import argparse,models,schedulers
parser = argparse.ArgumentParser()
subparsers = parser.add_subparsers()
models_parser = subparsers.add_parser("models")
load_submodule_parsers(models,models_parser)
schedulers_parser = subparsers.add_parser("schedulers")
load_submodule_parsers(schedulers,schedulers_parser)

未经测试的代码，但我认为您可以从此处进行优化