在单个主机上使用多个GPU的超参数优化

如何解决在单个主机上使用多个GPU的超参数优化

我目前正在尝试在单个主机上使用多个GPU来设置超参数优化。我遵循并实现了本教程： https://keras-team.github.io/keras-tuner/tutorials/distributed-tuning/

优化工作按预期进行，但是我无法使用以下Bash文件在单个主机上的多个GPU之间进行分配：

export KERASTUNER_TUNER_ID="chief"
export KERASTUNER_ORACLE_IP="127.0.0.1"
export KERASTUNER_ORACLE_PORT="8000"
python hp_test.py  &> chief.txt & 
export chief=$!

export KERASTUNER_TUNER_ID="tuner0"
python hp_test.py  &> t0.txt & 
export t0=$!

while kill -0 $chief && kill -0 $t0 
do
    r=$'\r'
    Now="$(date +'%Y-%m-%d %H:%M:%s')"
    printf "${r}${Now}: Alive)"
    sleep 1
done

我有3个问题：

我的Bash文件是否错误，这就是为什么我无法开始优化的原因？
在issues 329`中，似乎不可能使用Keras-tuner在一个系统上的跨多个GPU上分布超参数优化。这是正确的吗？
如果可以在一个系统上的多个GPU上分配优化，那么是否还有更多关于如何设置优化的教程。据我所知，您还需要oracle，但我找不到任何有关如何为多GPU发行进行设置的文档。（哪个依赖项，执行...）

非常感谢您！