如何解决Pytorch Roberta kernal 在运行“out = model(inputs)”时立即死亡
我有一个文本数据集,我用它训练获得令牌器,称为“bert_tokenizer”。然后我尝试给出一个新词并将词嵌入。
from transformers import RobertaConfig
config = RobertaConfig(
vocab_enter code heresize=tokenizer.get_vocab_size(),max_position_embeddings=514,num_attention_heads=12,num_hidden_layers=6,type_vocab_size=1,)
#re-create tokenizer in transformers
from transformers import RobertaTokenizerFast
tokenizer = RobertaTokenizerFast.from_pretrained("bert_tokenizer",output_hidden_states =True,max_len=512)
#initialise model
from transformers import RobertaForMaskedLM
model = RobertaForMaskedLM(config=config)
model.eval()
word = tokenizer.encode('test test')
input = torch.LongTensor(word)
out = model(input_ids=input)
最后一行 out = model(input_ids=input)
失败,立即。错误:内核已死。
我的训练数据集很小,这是一个问题吗?还是其他原因?
我在这里学习教程:https://github.com/BramVanroy/bert-for-inference/blob/master/introduction-to-bert.ipynb
谢谢。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。