如何解决CUDA内存不足-矩阵乘法
我正在尝试运行独立自我注意模型。 即使批处理大小= 1，它也会由于out = key * query：https://github.com/leaderj1001/Stand-Alone-Self-Attention/blob/a983f0f643632b1f2b7b8b27693182f22e9e574c/attention.py#L48
而抱怨CUDA内存不足键的张量为[2,8,224,49] 查询的张量为[2,1] 昏暗1是批处理，昏暗2是self.groups，昏暗3是out_channels，昏暗4是高度，昏暗5是宽度，昏暗6 = -1。
一个非常幼稚的想法是将这两个矩阵分成几个块，例如split3D used for self-attention implemented in Keras。但我不确定它将如何在6个维度上发挥作用。
谢谢！
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
