微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

C++ 中的推理预训练 ONNX 模型?

如何解决C++ 中的推理预训练 ONNX 模型?

我正在尝试重新创建此视频中完成的工作,CppDay20Interoperable AI: ONNX & ONNXRuntime in C++ (M. Arena,M.Verasani)。演示代码的 github 存储库是 here . 到目前为止,我已经使用 TensorFlow 训练了一个回归模型,并已转换为 ONNX 以在 c++ 中进行推理。但是创建的 ONNX 运行时会话无法读取我模型的输入形状;输入形状返回值 -1。

Ort::Env env;
Ort::Session session{env,model_path,Ort::Sessionoptions{} };

Ort::AllocatorWithDefaultOptions allocator;
auto* inputName = session.GetInputName(0,allocator);
std::cout << "Input name: " << inputName << "\n";
auto* outputName = session.GetoutputName(0,allocator);
std::cout << "Output name: " << outputName << "\n";
auto inputShape = session.GetInputTypeInfo(0).GetTensorTypeAndShapeInfo().GetShape();
//model has 5 inputs
std::vector<float> inputValues = {1,2,3,4,5 }; 

// where to allocate the tensors
auto memoryInfo = Ort::MemoryInfo::Createcpu(OrtDeviceAllocator,OrtMemTypecpu);

// create the input tensor (this is not a deep copy!)
auto inputOnnxTensor = Ort::Value::CreateTensor<float>(memoryInfo,inputValues.data(),inputValues.size(),inputShape.data(),inputShape.size());
    
// the API needs the array of inputs you set and the array of outputs you get
array inputNames = { inputName };
array outputNames = { outputName };

// finally run the inference!
auto outputValues = session.Run(
    Ort::Runoptions{ nullptr },// e.g. set a verbosity level only for this run
    inputNames.data(),&inputOnnxTensor,1,// input to set
    outputNames.data(),1);                 

输出

Number of model inputs: 1
Number of model outputs: 1
Input name: input_1
Output name: Identity
tried creating tensor with negative value in shape

有什么建议可以使推理代码正常工作吗?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其他元素将获得点击?
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。)
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbcDriver发生异常。为什么?
这是用Java进行XML解析的最佳库。
Java的PriorityQueue的内置迭代器不会以任何特定顺序遍历数据结构。为什么?
如何在Java中聆听按键时移动图像。
Java“Program to an interface”。这是什么意思?