如何解决在单个 GPU 上运行两个不同的独立 PyTorch 程序
我有一个 NVIDIA GPU，它的内存为 16GB。我必须运行两个不同（且独立；意思是，两个不同的问题：一个是视觉类型任务，另一个是 NLP 任务）Python 程序。代码是使用PyTorch编写的，代码都可以使用GPU。
我已经测试过程序 1 大约需要 5GB 的 GPU 内存，其余的都是免费的。如果我运行这两个程序，是否会影响模型性能或会导致任何进程冲突？
Linked question; but it does not necessarily mean PyTorch codes
解决方法
我不知道这是如何工作的细节，但我可以从经验中看出这两个程序都会运行良好（只要它们组合时不需要超过 16GB 的 RAM），并且执行时间应该大致保持在一样。
然而，计算机视觉通常需要大量 IO（主要是读取图像），如果其他任务也需要读取文件，这部分可能会比单独运行两个程序时慢。
,它应该可以正常工作。
在我的一个项目中，我在处理多个模型时遇到了 GPU 内存不足的问题。加载它们后，我的模型曾经占用了大部分 GPU 内存。在模型推理期间，用于保留数据的内存非常少。众所周知，如果您的模型加载到 GPU 上，那么您还需要将数据加载到 GPU 上。因此，当您进行批量推理（例如，一次向模型提供 16 个图像）时，完整的批次会加载到 GPU 上。这再次需要更多的 GPU 内存。如果没有获得足够的 GPU 内存，您的程序就会崩溃。
如果您认为 GPU 内存不是您的问题，那么一切都应该正常工作。您也无需担心冲突，因为两个进程都会分配自己的 GPU 内存并独立工作。不会有性能问题。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
