如何解决tflite 模型推理速度在有限的硬件上很慢
我有一个已转换为 tflite 的文本分类模型。我在具有 512 mb 内存的 armv7 架构上运行 debian 10 的 linux SBC 上运行 tflite 模型。使用此模型运行推理是即时的,但在加载保存的标记器(pickle 文件)后,每个样本的推理大约需要 12 秒。
我的问题是:如何优化推理时间以便更快地对每个样本进行分类?
编辑:我通过迭代另一个大约有 300000 个键的 python dict 来运行一个测试,但整个迭代用了不到一秒钟。怎么会发生这种情况,但模型迭代加载的分词器所需的时间却很长?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。