如何解决加速EDGE TPU上的多种模型推理
我重新训练了resnet50模型，以便在EDGE TPU上重新识别。但是，似乎无法将一批图像提取到EDGE_TPU。
我想出了一种为图像运行多个相同模型的解决方案。
但是，无论如何，有什么方法可以加快对多个模型的模型推断？现在的线程处理速度甚至比单个模型推断还要慢
解决方法
是的，edgetpu的架构师不允许批量处理。您是否尝试过模型流水线？ https://coral.ai/docs/edgetpu/pipeline/
不幸的是，目前仅在C ++中可用，但我们希望在第四季度中期将其扩展到python。
,因为批处理推理现在不可用，所以流水线处理是另一个辅助选项。但是，在使用我的模型后，我们可以通过将EDGE_TPU的多个单个输入作为另一个选择来制作假批处理
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
