如何解决每次调用版本时,AI 平台都会安装依赖项
我的模型调用预测出现超时问题,这似乎是因为冷启动。 似乎模型的节点几乎每次被调用时都在安装依赖项(而 minNodes 为 1)。仅当版本超过 1 时才会出现问题,否则它不会重新安装依赖项,并且会在 1 秒内进行预测,而不是进行 120 秒的超时... 我是否需要放置更高的 minNodes 或其他什么?
如果有人遇到问题并有解决方案(或任何建议),我真的很感兴趣;)
谢谢
解决方法
让我试试看我是否理解您的问题:您使用的是 AI Platform 模型,并且节点每次调用它时都会安装依赖项。多个版本时,不重装依赖,快速预测。
为了继续,我需要问你以下问题:
- 您得到的错误是什么?日志中是否有任何相关消息?
- 你有什么类型的依赖?如果您有一个培训应用程序,您可能有不同类型的依赖项(标准和自定义)[3]。
- 当您提到版本时,您指的是 AI Platform 中的模型版本还是依赖项的不同版本?
关于尝试预测时的 minNodes,我认为增加这个数字不会解决问题。根据 [1],如果负载更高,它将添加更多节点,然后缩减至少 minNodes。至少有两个节点,您将受 SLA [2] 的保护,但可能面临同样的问题。
[1] - increase()
[3] - https://cloud.google.com/ai-platform/prediction/docs/deploying-models#create_a_model_version
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。