如何为具有未知组件的形状创建 TensorFloat？

如何解决如何为具有未知组件的形状创建 TensorFloat？

我已经按照 this 示例将输入和输出绑定到 ONNX 模型。

// I can bind this shape fine since it has all kNown components:
std::vector<int64_t> shape({ 1,1000,1,1 });
binding.Bind(L"softmaxout_1",TensorFloat::Create(shape));

但是我自己的模型有一个包含未知组件的输入：

// This is the type shows in Netron: float32[unk__518,224,3],I tried:
std::vector<int64_t> shape({ "unk__518",3 }); // Note: this doesn't compile since the first component is a string!
binding.Bind(L"Image:0",TensorFloat::Create(shape));

如何为这样的形状创建一个 TensorFloat 并绑定它？

解决方法

在创建将与使用自由维度（即：“unk_518”）定义的模型输入特征结合使用的张量时，您需要指定张量的实际具体维度.

就您而言，您似乎在使用 SqeezeNet。 SqueezeNet 的第一个参数对应于输入的批次维度，因此指的是您希望绑定和运行推理的图像数量。

将“unk_518”替换为您希望运行推理的批量大小：

int64_t batch_size = 1;
std::vector<int64_t> shape({ batch_size,224,3 }); // Note: this doesn't compile since the first component is a string!
binding.Bind(L"Image:0",TensorFloat::Create(shape));

您可以看到，对于自由维度，Windows ML 验证将允许任何维度，因为这是“自由”维度的含义：https://github.com/microsoft/onnxruntime/blob/f352d54743df1769de54d33264fcb7a2a469974d/winml/lib/Api/impl/FeatureCompatibility.h#L253