微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

用于德国新闻分类的HuggingFace变形金刚模型

如何解决用于德国新闻分类的HuggingFace变形金刚模型

我一直在努力寻找适合我的项目的模型(多类德语文本分类),但与here提供的模型有些困惑。有些模型带有text-classification标签,但它们用于二进制分类。其他大多数模型都用于[MASK]单词预测。我不确定,该选择哪个,以及它是否可以与多个类一起使用

不胜感激!

解决方法

当您的类完全不同时,您不需要寻找特定的文本分类模型,因为大多数列出的模型都使用一种基本模型并微调了基本层并针对其需求训练了输出层。在您的情况下,您将删除输出层,并且它们对基础层的微调不会给您带来太多好处或伤害。有时他们扩展了词汇表,这可能对您的任务很有帮助,但您必须自己检查描述(通常是稀疏的:()和词汇表,以获取有关各个模型的更多详细信息。

通常,我建议您立即使用其中一种基本模型,并在结果不足的情况下仅查找其他模型。

以下是具有6个类的bert的示例:

from transformers import BertForSequenceClassification,BertTokenizer

tokenizer = BertTokenizer.from_pretrained("bert-base-german-dbmdz-uncased")
model = BertForSequenceClassification.from_pretrained("bert-base-german-dbmdz-uncased",num_labels=6)

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。