如何解决强制TensorRT在CPU上运行,还是将trt模型转换回onnx?
我意识到这不是TensorRT的预期用途,但是我有点受阻,所以也许有一些想法。目前,已经为我提供了一些神经网络模型,如TensorRT序列化引擎,即所谓的.trt文件。这些基本上是从PyTorch编译和优化后可以在特定GPU上运行的模型。
现在,这很好,因为我确实具有兼容的GPU进行开发,但是,对于设置CI / CD,我遇到了一些麻烦,因为将在其上运行的云服务器仅用于测试目的 没有没有足够的GPU用于此CUDA编译的“引擎”。
因此,我想强制这些模型在CPU上运行,或者以其他方式找到使它们运行的其他方法。在CPU上就可以了,因为我只需要运行一些推断来检查输出,如果速度很慢就可以了。同样,我知道这不是TensorRT的预期用途,但是我需要模型的一些输出进行集成测试。
替代方法
我的另一个想法可能是将.trt文件转换回.onnx或其他可以加载到其他运行时引擎中的格式,或者仅转换为PyTorch或TensorFlow,但是我找不到任何加载引擎的TensorRT工具并编写模型文件。大概是因为它是“编译的”并且不再可转换;但是,模型参数必须在其中,所以有人知道怎么做吗?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。