PyTorch：是否可以跨进程发送张量保持梯度

我正在尝试使用分布式库并行化我的 pytorch 网络。这个想法是创建一个与此处描述的类似的案例：https://pytorch.org/tutorials/intermediate/model_parallel_tutorial.html 但仅使用 cpu。因此，每个进程负责我网络中的一层。

问题在于，为了正确地向后，跨进程发送的张量需要在通信中保持其梯度。我知道 Queue 无法处理这种行为，我想知道他们是否可以使用 Gloo、mpi 或其他方式来实现这一点...

谢谢！