如何解决正确使用 gpu-per-task 通过 SLURM 分配不同的 GPU
我正在使用 cons_tres
SLURM 插件,其中引入了 --gpus-per-task
选项。如果我的理解是正确的,以下脚本应该在同一节点上分配两个 不同 GPU:
#!/bin/bash
#SBATCH --ntasks=2
#SBATCH --tasks-per-node=2
#SBATCH --cpus-per-task=4
#SBATCH --gres=gpu:2
#SBATCH --gpus-per-task=1
srun --ntasks=2 --gres=gpu:1 nvidia-smi -L
然而,它没有,因为输出是
GPU 0: Tesla V100-SXM3-32GB (UUID: GPU-c55b3036-d54d-a885-7c6c-4238840c836e)
GPU 0: Tesla V100-SXM3-32GB (UUID: GPU-c55b3036-d54d-a885-7c6c-4238840c836e)
是什么?
相关:https://stackoverflow.com/a/55029430/10260561
编辑
或者,srun
命令可以是
srun --ntasks=1 --gres=gpu:1 nvidia-smi -L &
srun --ntasks=1 --gres=gpu:1 nvidia-smi -L &
wait
即,并行运行两个任务,每个任务都在 1 个 GPU 上。这也不起作用,并给出
GPU 0: Tesla V100-SXM3-32GB (UUID: GPU-c55b3036-d54d-a885-7c6c-4238840c836e)
srun: Job 627 step creation temporarily disabled,retrying
srun: Step created for job 627
GPU 0: Tesla V100-SXM3-32GB (UUID: GPU-c55b3036-d54d-a885-7c6c-4238840c836e)
省略额外的参数并调用 srun nvidia-smi -L
导致
GPU 0: Tesla V100-SXM3-32GB (UUID: GPU-c55b3036-d54d-a885-7c6c-4238840c836e)
GPU 1: Tesla V100-SXM3-32GB (UUID: GPU-ce697126-4112-a696-ff6b-1b072cdf03a2)
GPU 0: Tesla V100-SXM3-32GB (UUID: GPU-c55b3036-d54d-a885-7c6c-4238840c836e)
GPU 1: Tesla V100-SXM3-32GB (UUID: GPU-ce697126-4112-a696-ff6b-1b072cdf03a2)
也就是说,有 4 个任务正在运行?
我需要在不同的 GPU 上并行运行两个任务。
解决方法
所有 #SBATCH
在一个节点上为您分配两个任务和两个 GPU。到现在为止还挺好。但是你告诉 srun
使用两个可用的任务并且只使用一个 GPU。这就是这两个任务共享 GPU 的原因。
为了解决这个问题,你可以在调用 srun 时省略额外的参数。默认情况下,它将使用所有可用的任务和 GPU。
,这就是我想要的
srun --gres=gpu:1 bash -c 'CUDA_VISIBLE_DEVICES=$SLURM_PROCID env' | grep CUDA_VISIBLE
CUDA_VISIBLE_DEVICES=1
CUDA_VISIBLE_DEVICES=0
但不使用 --gpus-per-task
。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。