如何解决“TensorFlow 运行时具有延迟初始化的组件”是什么意思?
官方文档 TensorFlow SavedModel Warmup 说:
TensorFlow 运行时具有延迟初始化的组件,这可能会导致加载后发送到模型的第一个请求的高延迟。此延迟可能比单个推理请求的延迟高几个数量级。
在我看来,由于预测过程可以预热模型,因此 components that are lazily initialized
不可能是图的 init_op
,因为 init_op
仅取决于 SavedModel 中保存的参数,并且TFS 将调用 restore_op
进行初始化。
如果我是对的,那么 components that are lazily initialized
是什么?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。