微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Gunicorn 在 docker GPU 运行时运行

如何解决Gunicorn 在 docker GPU 运行时运行

我有一个 docker 镜像,它使用 meinheld gunicorn 工人来托管机器学习模型。

由于模型使用 GPU 效率更高,所以我在 GPU 运行时运行 docker,它给了我很好的速度。

但是由于 Gunicorn 也在 GPU 上运行(因为它是 docker 的一部分),它会根据工作人员的数量占用一些 GPU 空间,这是合理的。

假设 Gunicorn 更占用 cpu,那么在 GPU 运行时上运行它会影响其性能吗?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。