如何解决如何使用Resnet,FCn,DeepLab图像分割评估解决GPU OOM问题?
我正在编写有关Python中图像分割的YouTube教程:link
本教程基于我为细化目的而一直参考的其他教程,特别是本教程: OpenCV Pytorch Segmentation
我正在使用具有8 GB GPU内存的NVDIA 2070图形卡。
我的问题是,原始教程讲授了通过FCN使用resnet的语义分段程序的基本cpu实现。我想以此为基础来利用GPU,因此我找到了后者。我实际上在这方面没有任何经验,但是我想出了如何在GPU上运行它并立即遇到GPU OOM问题:
RuntimeError:CUDA内存不足。尝试分配184.00 MiB (GPU 0;总容量8.00 GiB;已经分配了5.85 GiB;免费有26.97 MiB; PyTorch总共保留了5.88 GiB)
当我在小图像上运行该程序时,或者将HD图像的图像质量降低到50%分辨率时,都不会出现OOM错误。
我的拨弄和询问使我相信,我的OOM是在此任务中分配内存的结果。因此,现在我尝试实现替代的DeepLab解决方案,希望它可以更有效地分配内存,但事实并非如此。
这是我的代码:
from PIL import Image
import torch
import torchvision.transforms as T
from torchvision import models
import numpy as np
import imghdr
fcn = None
dlab = None
def getRotoModel():
global fcn
global dlab
fcn = models.segmentation.fcn_resnet101(pretrained=True).eval()
dlab = models.segmentation.deeplabv3_resnet101(pretrained=1).eval()
# Define the helper function
def decode_segmap(image,nc=21):
label_colors = np.array([(0,0),# 0=background
# 1=aeroplane,2=bicycle,3=bird,4=boat,5=bottle
(128,(0,128,(128,128),# 6=bus,7=car,8=cat,9=chair,10=cow
(0,(64,(192,# 11=dining table,12=dog,13=horse,14=motorbike,15=person
(192,# 16=potted plant,17=sheep,18=sofa,19=train,20=tv/monitor
(0,64,192,128)])
r = np.zeros_like(image).astype(np.uint8)
g = np.zeros_like(image).astype(np.uint8)
b = np.zeros_like(image).astype(np.uint8)
for l in range(0,nc):
idx = image == l
r[idx] = label_colors[l,0]
g[idx] = label_colors[l,1]
b[idx] = label_colors[l,2]
rgb = np.stack([r,g,b],axis=2)
return rgb
valid_images = ['jpg','png','rgb','pbm','ppm','tiff','rast','xbm','bmp','exr','jpeg'] #Valid image formats
dev = torch.device('cuda')
def createMatte(filename,matteName,factor):
if imghdr.what(filename) in valid_images:
img = Image.open(filename).convert('RGB')
size = img.size
w,h = size
modifiedSize = h * factor
print('Image original size is ',size)
print('Modified size is ',modifiedSize)
trf = T.Compose([T.Resize(int(modifiedSize)),T.ToTensor(),T.normalize(mean = [0.485,0.456,0.406],std = [0.229,0.224,0.225])])
inp = trf(img).unsqueeze(0)
#inp = trf(img).unsqueeze(0).to(dev)
if (fcn == None): getRotoModel()
if torch.cuda.is_available():
torch.cuda.empty_cache()
inp = inp.to(dev)
fcn.to(dev)
out = fcn.to(dev)(inp)['out'][0]
with torch.no_grad():
out = fcn(inp)['out'][0]
#out = fcn(inp)['out']
#out = fcn.to(dev)(inp)['out']
om = torch.argmax(out.squeeze(),dim=0).detach().cpu().numpy()
rgb = decode_segmap(om)
im = Image.fromarray(rgb)
im.save(matteName)
else:
print('File type is not supported for file ' + filename)
print(imghdr.what(filename))
def createDLMatte(filename,factor):
if imghdr.what(filename) in valid_images:
img = Image.open(filename).convert('RGB')
size = img.size
w,0.225])])
inp = trf(img).unsqueeze(0)
#inp = trf(img).unsqueeze(0).to(dev)
if (dlab == None): getRotoModel()
if torch.cuda.is_available():
torch.cuda.empty_cache()
inp = inp.to(dev)
dlab.to(dev)
out = dlab.to(dev)(inp)['out'][0]
with torch.no_grad():
out = dlab(inp)['out'][0]
#out = fcn(inp)['out']
#out = fcn.to(dev)(inp)['out']
om = torch.argmax(out.squeeze(),dim=0).detach().cpu().numpy()
rgb = decode_segmap(om)
im = Image.fromarray(rgb)
im.save(matteName)
我想知道的是,是否存在GPU问题的解决方案?我不想局限于cpu渲染,而当我拥有功能强大的GPU时,每个图像大约需要一分钟的时间。正如我说的那样,我对大多数事情还是很陌生的,但是我希望有一种方法可以更好地在此过程中分配内存。
-
(较差的解决方案)在GPU接近内存快要用完时在GPU上进行上限计算,并将其余任务切换到cpu。我不仅觉得自己很穷,而且也没有真正看到如何在任务中实现GPU cpu切换。
-
(更好)通过将映像分段为可管理的位,然后将这些位保存到临时文件中,然后最后进行组合来固定内存分配。
-
两者的组合。
现在我担心的是,对图像进行分割会降低结果的质量,因为每个部分都不会与上下文相关,我需要某种智能的拼接方式,而这超出了我的薪水范围。
所以我通常会问是否有足够的资源来解决那些可能的解决方案,或者是否有更好的解决方案。
最后,我的实现是否存在问题,导致GPU OOM错误?我无法确定是我的代码没有被优化,还是DeepLab和FCN都只是超级内存密集型设备,并且从一开始就无法优化。任何帮助将不胜感激!谢谢!
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。