导出至iOS时，Python和LibTorch C ++之间的输出不一致

如何解决导出至iOS时，Python和LibTorch C ++之间的输出不一致

我已经为我的数据训练了HuggingFace RoBERTa模型（这是一种非常特殊的用法-因此是小模型/词汇！），并在Python上成功进行了测试。我将跟踪模型导出到iOS的LibTorch，但是设备上的预测结果与Python中的预测结果不匹配（给出了不同的argmax令牌索引）。我的转换脚本：

# torch = 1.5.0
# transformers = 3.2.0

config = RobertaConfig(
    vocab_size=858,max_position_embeddings=258,num_attention_heads=6,num_hidden_layers=4,type_vocab_size=1,torchscript=True,)

model = RobertaForMaskedLM(config=config).from_pretrained('./trained_RoBERTa')
model.cpu()
model.eval()

example_input = torch.LongTensor(1,256).random_(0,857).cpu()
traced_model = torch.jit.trace(model,example_input)
traced_model.save('./exports/trained_RoBERTa.pt')

过去，我遇到了另一个问题，该问题是我在Python + GPU中训练并转换为iOS的LibTorch的（视觉）模型，通过在我的map_location={'cuda:0': 'cpu'}调用中添加torch.load()来解决转换脚本。因此，我想知道是否：1）在这种情况下可以作为一种合理的解释？，以及2）在使用map_location语法加载时如何添加.from_pretrained()选项？

以防我对预测结果的Obj-C ++处理受到指责，以下是在设备上运行的Obj-C ++代码：

- (NSArray<NSArray<NSNumber*>*>*)predictText:(NSArray<NSNumber*>*)tokenIDs {
    try {
        long count = tokenIDs.count;
        long* buffer = new long[count];
        for(int i=0; i < count;  i++) {
            buffer[i] = tokenIDs[i].intValue;
        }
        at::Tensor tensor = torch::from_blob(buffer,{1,(int64_t)count},at::kLong);
        torch::autograd::AutoGradMode guard(false);
        at::AutoNonVariableTypeMode non_var_type_mode(true);
        auto outputTuple = _impl.forward({tensor}).toTuple();

        auto outputTensor = outputTuple->elements()[0].toTensor();
        auto sizes = outputTensor.sizes();
        // len will be tokens * vocab size -- sizes[1] * sizes[2] (sizes[0] is batch_size = 1)
        auto positions = sizes[1];
        auto tokens = sizes[2];
        float* floatBuffer = outputTensor.data_ptr<float>();
        if (!floatBuffer) {
            return nil;
        }
        // MARK: This is probably a slow way to create this 2D NSArray
        NSMutableArray* results = [[NSMutableArray alloc] initWithCapacity: positions];
        for (int i = 0; i < positions; i++) {
            NSMutableArray* weights = [[NSMutableArray alloc] initWithCapacity: tokens];
            for (int j = 0; j < tokens; j++) {
                [weights addobject:@(floatBuffer[i*positions + j])];
            }
            [results addobject:weights];
        }
        return [results copy];
    } catch (const std::exception& exception) {
        NSLog(@"%s",exception.what());
    }
    return nil;
}

请注意，我在iOS中的初始化代码确实在TorchScript模型上调用了eval()。

更新：一项观察；当我在上面加载经过训练的模型时尝试使用config的方式导致未设置torchscript标志-我假设它完全忽略了我的config并从预训练中获取它文件。因此，如文档所述，我已将其移至from_pretrained('./trained_RoBERTa',torchscript=True)。请注意，iOS上的输出也存在同样的问题。

更新2：我想我会尝试在Python中测试跟踪模型。不确定是否可以正常工作，但是输出是否与原始模型中的相同测试相匹配：

traced_test = traced_model(input)
pred = torch.argmax(traced_test[0],dim=2).squeeze(0)
pred_str = tokenizer.decode(pred[1:-1].tolist())
print(pred_str)

这让我觉得iOS Obj-C ++执行中有一些问题。加载跟踪的模型/导出的代码确实在模型上调用.eval()，btw（我意识到这可能是对不同输出的可能解释）：

- (nullable instancetype)initWithFileAtPath:(Nsstring*)filePath {
    self = [super init];
    if (self) {
        try {
            auto qengines = at::globalContext().supportedQEngines();
            if (std::find(qengines.begin(),qengines.end(),at::QEngine::QNNPACK) != qengines.end()) {
                at::globalContext().setQEngine(at::QEngine::QNNPACK);
            }
            _impl = torch::jit::load(filePath.UTF8String);
            _impl.eval();
        } catch (const std::exception& exception) {
            NSLog(@"%s",exception.what());
            return nil;
        }
    }
    return self;
}

更新3：Uhhhmmm ...这绝对是一个面对面的时刻（在一个浪费的周末之后）...我决定从Obj-C返回一个平坦的NSArray并在Swift中对2D数组进行整形，除了转移一个令牌（我认为这只是[CLS]），现在输出正确。我想我的Obj-C确实那生锈。遗憾的是，我仍然看不到该问题，但是它现在正在运行，所以我要投降。

导出至iOS时，Python和LibTorch C ++之间的输出不一致

如何解决导出至iOS时，Python和LibTorch C ++之间的输出不一致

相关推荐