在 GPU 上使用 onnxruntime 时内存泄漏CPU 的 RAM

如何解决在 GPU 上使用 onnxruntime 时内存泄漏CPU 的 RAM

我使用的是 Pypi (https://pypi.org/project/insightface/) 的 Insightface 库，源代码在这里：https://github.com/deepinsight/insightface/blob/master/python-package/insightface/model_zoo/scrfd.py。

当我在我的 GPU 上运行它时，cpu 的 RAM 存在严重的内存泄漏，超过 40 GB，直到我停止它（不是 GPU 内存）。

这是我的脚本：

import insightface
import cv2
import time

model = insightface.app.FaceAnalysis()

# It happens only when using GPU !!!
ctx_id = 0

image_path = "my-face-image.jpg"
image = cv2.imread(image_path)

model.prepare(ctx_id = ctx_id,det_thresh=0.3,det_size=[416,416])

detector =  model.models["detection"]

for i in range(100000):
    start_t = time.time()
    bBoxes,landmarks = detector.detect(image)
    end_t = time.time()
    print('Detection time: {}'.format(end_t - start_t))

print('DONE')

我的设置是（在 docker 内）：

• Docker 基础镜像 - nvidia/cuda:11.0.3-cudnn8-devel-ubuntu18.04
• Nvidia 驱动程序 - 465.27
• 蟒蛇 - 3.6.9
• insightface==0.3.8
• mxnet==1.8.0.post0
• mxnet-cu110==2.0.0a0
• numpy==1.18.5
• onnx==1.9.0
• onnxruntime-gpu==1.8.1

解决方法

我设法通过以下设置解决了这个问题：

• Ubuntu-20.04
• Python-3.8
• Nvidia-470
• Cuda-11.3
• Cudnn-8
• mxnet==1.8.0.post0
• onnx==1.9.0
• onnxruntime-gpu==1.8.1
• insightface==0.4