如何解决Onnxruntime 与 PyTorch
我已经使用 PyTorch 在我的自定义数据集上训练了 YOLO-v3 tiny。为了比较推理时间,我在 cpu 上尝试了 onnxruntime 以及 PyTorch GPU 和 PyTorch cpu。平均运行时间约为:
onnxruntime cpu:110 毫秒 - cpu 使用率:60% Pytorch GPU:50 毫秒 Pytorch cpu:165 毫秒 - cpu 使用率:40% 并且所有模型都使用批量大小 1。
但是,我不明白 onnxruntime 与 PyTorch cpu 相比如何更快,因为我没有使用 onnxruntime 的任何优化选项。我刚用过这个:
onnx_model = onnxruntime.InferenceSession('model.onnx')
onnx_model.run(None,{onnx_model.get_inputs()[0].name: input_imgs })
有人可以向我解释为什么没有任何优化它会更快吗?以及为什么在使用 onnxruntime 时 cpu 使用率更高。有什么办法可以让它保持下去吗?
提前致谢。
解决方法
ONNX Runtime 使用静态 ONNX 图,因此它具有图的完整视图,并且可以进行许多 PyTorch 不可能/难以完成的优化。从某种意义上说,它类似于编译型和解释型编程语言的实现。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。