微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

为什么 Vertex AI 端点会从一个部署的模型中给出结果?

如何解决为什么 Vertex AI 端点会从一个部署的模型中给出结果?

我已经在 Vertex AI 模型上成功创建了两个模型(接收一个浮点数,执行一个简单的计算并返回另一个浮点数),并分别为它们创建了一个端点。

但是,当从 UI(通过 Vertex AI 模型)调用预测时,我总是从其中一个获得结果。 Response body中的“deployedModelId”与两个端点不同,但与两个模型的模型ID不一致。

在具有 50/50% 流量拆分的 1 个端点上部署两种模型也是如此。我有 50% 的时间是一个 deployModelId ,50% 的时间是另一个。但是,预测输出始终是模型之一的结果,并且已部署的ModelId 与两个模型 ID 不一致。

当从端点返回预测时,似乎只使用了一个模型。

我已经检查过模型是否意外相同,因此我从 Vertex AI Models 下载了模型,并在本地加载模型时调用了预测。然后我得到了正确的回应。

我已经在 UI 和 Python SDK 上测试了调用预测,两种方法都为我提供了对其中一个模型的相同的错误预测。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。