微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Pytorch Roberta kernal 在运行“out = model(inputs)”时立即死亡

如何解决Pytorch Roberta kernal 在运行“out = model(inputs)”时立即死亡

我有一个文本数据集,我用它训练获得令牌器,称为“bert_tokenizer”。然后我尝试给出一个新词并将词嵌入。

from transformers import RobertaConfig

config = RobertaConfig(
    vocab_enter code heresize=tokenizer.get_vocab_size(),max_position_embeddings=514,num_attention_heads=12,num_hidden_layers=6,type_vocab_size=1,)

#re-create tokenizer in transformers
from transformers import RobertaTokenizerFast

tokenizer = RobertaTokenizerFast.from_pretrained("bert_tokenizer",output_hidden_states =True,max_len=512)

#initialise model
from transformers import RobertaForMaskedLM

model = RobertaForMaskedLM(config=config)
model.eval()

word = tokenizer.encode('test test')
input = torch.LongTensor(word)
out = model(input_ids=input)

最后一行 out = model(input_ids=input) 失败,立即。错误:内核已死。 我的训练数据集很小,这是一个问题吗?还是其他原因?

在这里学习教程:https://github.com/BramVanroy/bert-for-inference/blob/master/introduction-to-bert.ipynb

谢谢。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。