如何解决我们可以在Pytorch DataLoader中的工作人员之间共享内存吗？
我的数据集取决于3GB张量。该张量可以在cpu或GPU上。我的代码的瓶颈是数据加载预处理。但是我不增加我的RAM就不能增加几个工人。
这对我来说听起来很愚蠢：为什么每个工作人员都能收到3GB张量的副本，而每个工作人员之间却完全相同？
有什么解决方案可以让工作人员访问此张量的单个版本？
谢谢
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
