如何解决您如何从 RoBERTa 获得每个词令牌的单个嵌入向量？
您可能知道，RoBERTa (BERT,etc.) 有自己的分词器，有时您会得到给定单词的片段作为标记，例如嵌入 » 嵌入，#dings
由于我正在处理的任务的性质，我需要对每个单词进行单一表示。我如何获得它？
许可：
sentence: "embeddings are good" --> 给出 3 个词标记
输出：[embed,#dings,are,good] --> 4 个标记出来
当我将句子交给预训练的 RoBERTa 时，我会得到编码的令牌。最后，我需要每个令牌的表示。解决办法是什么？ 逐点求和嵌入 + #dings 标记？
解决方法
我不确定是否有标准做法，但我看到其他人所做的只是简单地取子令牌嵌入的平均值。示例：https://arxiv.org/abs/2006.01346，第 2.3 节第 4 行
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
