NLP 转换器 - PyTorch 运行时错误：形状 [5, -1, 32783] 对于大小为 655360 的输入无效

如何解决NLP 转换器 - PyTorch 运行时错误：形状 [5, -1, 32783] 对于大小为 655360 的输入无效

我正在尝试加载一次 SuperTransformer 模型，并在循环中多次对数据集执行预测 - 同时每次更改采样模型配置。

我使用 github.com/mit-han-lab/hardware-aware-transformers 中的 generate.py 文件在 WMT'14En-De 数据集上运行翻译。更改采样模型配置的代码部分是 generate.py 的第 67 行中的 model.set_sample_config(config)。

基本上，我想要实现的是在具有不同 SubTransformer 配置的数据集上重复推理——同时只加载一次数据集和模型（尽可能减少第二次迭代的开销）。

我目前正在尝试实现以下修改后的代码，在 #Load ensemble 阶段之后使用 while 循环，并在每次迭代后更改 'config' 变量。

 # Load ensemble
print('| loading model(s) from {}'.format(args.path))
models,_model_args = checkpoint_utils.load_model_ensemble(
    args.path.split(':'),arg_overrides=eval(args.model_overrides),task=task,)

torch.manual_seed(args.seed)

#loop twice,change 'config' variable on second iteration to have different SubTransformer configuration
while i in range (0,2):

    # Optimize ensemble for generation
    for model in models:
        if use_cuda:
            model.cuda()

        config = utils.get_subtransformer_config(args)

        model.set_sample_config(config)
        model.make_generation_fast_(
            beamable_mm_beam_size=None if args.no_beamable_mm else args.beam,need_attn=args.print_alignment,)

但是，我收到以下错误：shape is invalid for input of size x

问题似乎与sequ​​ence_generator.py 中'lprobs' 变量的大小有关，其中第二次迭代时大小总是错误的。即使代码再次使用相同的 SubTransformer 配置循环，也会发生此错误。

我对 PyTorch 库和一般的机器学习相当陌生，因此我将不胜感激！谢谢。