如何解决为什么 PyTorch MultiheadAttention 被认为是激活函数？
当滚动 PyTorch 包 (here) 上可用的所有激活函数时，我发现 nn.MultiheadAttention 被描述在那里。你能解释一下为什么它被认为是激活函数吗？也许我理解错了，但是多头注意力有它自己的可学习权重，所以它似乎更适合层，而不是激活函数。能否请您纠正我，并提供一些我没有得到的见解。
谢谢！
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
