如何解决我可以使用自动广播自动混合精度来加快PyTorch的推理速度吗?
在PyTorch中自动广播的docs(另请参阅this)仅讨论培训。如果我还使用自动广播进行推理,速度会加快吗?
解决方法
是的(虽然在某些情况下可能不会)。
您正在处理精度较低的数据(例如float16
与float32
)。
在这种情况下,您的程序必须读取和处理较少的数据。
这可能有助于缓存局部性和特定于硬件的软件(例如,如果使用CUDA,则为张量核心)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。