如何解决并发AzureML REST请求失败，服务请求过多超载
我已将模型部署到具有6个节点的生产Azure Kubernetes服务中。
顺序推理请求从score.py获得预期的响应。
当我有多个并发异步推理请求时，除了第一个返回503 Too many requests for service {my service name} (overloaded)以外的所有请求。
我基于示例https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/deployment/production-deploy-to-aks/production-deploy-to-aks.ipynb构建了服务并部署了模型。
我发送的请求最大为4mb。当我发送小的请求时，它似乎起作用。
解决方法
如果您尝试同时接收许多请求，建议您同时使用Triton进行高性能服务：https://docs.microsoft.com/en-us/azure/machine-learning/how-to-deploy-with-triton?tabs=python
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
