如何解决Pytorch 嵌入对于 GPU 来说太大但适合 CPU
我正在使用 PyTorch 闪电,因此闪电控制 GPU/CPU 分配和 返回 我获得了简单的多 GPU 支持来训练。
我想创建一个不适合 GPU 内存的嵌入。
fit_in_cpu = torch.nn.Embedding(too_big_for_GPU,embedding_dim)
然后当我选择一个批次的子集时,将其发送到 GPU
GPU_tensor = embedding(idx)
如何在 Pytorch Lightning 中执行此操作?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。