如何解决进行gRPC调用时，Tensorflow服务Docker映像不可访问
我已在Google Cloud Compute Engine（https://cloud.google.com/deep-learning-vm）上部署了深度学习VM映像。我已部署的VM具有Tesla K80 GPU，并预先安装了CUDA 10。我已经安装了Docker并部署了用于服务Tensorflow模型的最新tensorflow / serving GPU映像https://hub.docker.com/r/tensorflow/serving）。
我创建了一个本地客户端脚本，该脚本对模型进行gRPC调用并上传图像，模型返回了成功的预测。一切正常，但是当我尝试在随机时间（一个小时后或晚上）打电话时，预测第一次失败并超时。此后，当我直接重试时，它确实运行成功。看来VM进入了某种休眠模式，需要进行“唤醒”才能成功处理图像。
在当前设置中，我仅使用了标准的即用型构建块，因此使用了基于GPU的标准VM（来自Deep Learning Image），具有NVIDIA运行时的标准TF服务容器ML模型和简单的gRPC客户端脚本，可以调用此提供服务的TF模型。我知道我目前的设置还不是“生产准备就绪”，并且我计划在不久的将来利用Kubernetes Engine来拥有一个可扩展的生产环境，该环境可以随机处理模型调用。在接下来的一周，我目前的设置很好。我将与不同时区的开发团队一起工作，该团队围绕我的ML模型构建移动应用程序。我当前拥有的环境应始终可用于测试并成功处理对TF服务模型的gRPC调用。
我应该更改/添加到当前设置中的什么，以便始终在第一次尝试时返回成功的预测，而不是在此之后直接返回失败的预测并在第二次尝试中返回成功的预测？我不想在配置上花费太多时间（例如，将其迁移到AI Platform）并使用我当前的设置（运行TF Serving容器的GPU驱动的VM）。使模型始终可用的最简单方法是什么？下周过后，我将有更多时间查看生产就绪环境的下一步。
谢谢
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
