如何解决如何在 pytorch 中选择特定输出并计算该输出的损失？
我正在使用来自拥抱面孔的多语言 BERT 模型，并使用 MLM 进行一些额外的预训练。 然而，它有点不同。我想获得掩码序列的平均值并计算损失。
例如
**model = AutoModel.from_pretrained('bert-base-multilingual-cased')
input = [MASK][MASK][MASK] is a great guy.
label = [PERSON] is a great guy.**
我想使用三个 [MASK] 令牌和 [PERSON] 令牌的平均值之间的损失来训练模型
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
