在 Dask 中并行运行两个机器学习训练

如何解决在 Dask 中并行运行两个机器学习训练

我在 Docker 上用工作人员实现了分布式 dask。我用 Docker compose 文件启动了 10 个工人，如下所示：

 docker-compose up -d --scale worker=10

要运行两个模型的机器学习训练，我执行以下操作：

y1 = data1[label1]
X1 = data1[features1] 

y2 = data2[label2]
X2 = data2[features2] 

with joblib.parallel_backend('dask'):
        try:
            model1.fit(X1,y1)
            model2.fit(X2,y2)
        except Exception as e:
            logging.error('There's an error ' + str(e))

现在，我想并行运行这两个训练。我可以使用工人 1 到 5 来训练 1，使用工人 6 到 10 来训练 2。但是如何告诉分布式的 dask 使用一些工人执行一项任务而其他工人执行不同的任务？