如何解决将注意力机制添加到 BERT 隐藏状态以获得单个句子向量
我正在尝试添加一种注意机制，以从 BERT 编码器获得最后隐藏状态的加权平均值，而不仅仅是使用平均池化。我有一个大小为 [n_words * 维] 的句子矩阵，我想将其减少到 [1 * 维]。
我不知道我应该在哪里或如何添加注意力层以及如何训练该层以获取权重参数。请帮忙。
我正在使用 HuggingFace 模型在 STS 基准数据集上训练/微调我的 BERT。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
