如何解决分词器和模型可以使用不同的转换器模型吗？
我可以将 roberta 用于分词器而 bert 用于模型吗？
from transformers import RobertaTokenizerFast
tokenizer = RobertaTokenizerFast.from_pretrained("./bert_tokenizer",max_len=512)
from transformers import BertForMaskedLM
config = BertConfig()
bert= BertForMaskedLM(config)
解决方法
您不能将 RoBERTa 分词器用于 BERT 模型。原因是BERT和RoBERTa的词汇不同。因此，存在于 RoBERTa 词汇表中的词块标记可能不存在于 BERT 词汇表中。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
