通过互联网并行进行Pytorch分布式数据

我正在尝试使用this tutorial中建议的“ pdsh”协调工具同时将多个节点同时切换到这些节点上，从而在多个节点上使用“分布式数据并行”来训练网络。

具体来说，给定一台具有公共IP地址“ Ip0”的本地计算机和两个分别具有“公共IP地址”“ Ip1”和“ Ip2”的远程节点，要从本地计算机上对其进行远程培训，该如何做这样的设置？

另外，如何在每个远程节点上运行训练脚本之前确保两个远程节点可以相互访问？

谢谢。