在 cuda 中同步多个设备

如何解决在 cuda 中同步多个设备

在CUDA的手册中，在cudaStreamSynchronize(stream)的解释中，提到了

阻塞直到流完成所有操作。如果为此设备设置了 cudaDeviceScheduleBlockingSync 标志，则主机线程将阻塞，直到流完成其所有任务。

我的问题是这个屏障阻止了主机（即 multigpu 中的所有设备）对流完成中所有先前发出的操作。我说得对吗？

多 GPU 任务中的 cudaDeviceSynchronize() 怎么样？它阻止所有设备完成由 cudaSetDevice(deviceid) 设置的设备上发出的所有任务，还是阻止所有设备完成之前发出的所有操作的主机？

解决方法

我找到了我的问题的答案，我在这里提到可能面临同样问题的人。我引自 programming guide of cuda

cudaDeviceSynchronize() 等待，直到所有主机线程的所有流中的所有前面的命令都完成。

cudaStreamSynchronize() 将一个流作为参数并等待给定流中的所有前面的命令都完成。它可用于将主机与特定流同步，允许其他流继续在设备上执行。

cudaStreamWaitEvent() 将一个流和一个事件作为参数（有关事件的描述，请参阅事件）并使所有在调用 cudaStreamWaitEvent() 后添加到给定流中的命令延迟执行，直到给定的活动已结束。

cudaStreamQuery() 为应用程序提供了一种方法来了解流中的所有前面的命令是否都已完成。