如何解决单节点内 MPI 通信性能低下
我有一个程序,它使用 MPI 的 openMPI 实现在进程之间进行数据交换。现在我只在一个节点上使用这个程序,数据必须从一个进程共享到所有其他进程。主进程发送的数据总量是 130 Gb,它被拆分并发送到 6-8 个客户端进程,但是这种数据传输需要很长时间(1 小时)。 知道代码在同一个节点上运行,我希望数据传输可以使用一些加速,通过我在启动 mpirun 程序时可以描述的设置 - 你知道哪些设置可以帮助我在这种情况下获得更快的数据传输?现在我只使用“--mca btl vader,self”作为可选组件。
实际代码使用 MPI_Send() 函数,该函数共享的数据量接近可通过此调用传输的最大数据量。在多次 MPI_Send() 调用后将数据传输到客户端进程后,主进程将数据发送到其他挂起的客户端进程。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。