如何解决在特定领域继续训练预训练的 BERT 模型的最简单方法是什么?
我想使用预训练的 BERT 模型,以便将其用于文本分类任务(我正在使用 Huggingface 库)。然而,预训练模型是在与我不同的领域进行训练的,我有一个大型未注释的数据集,可用于对其进行微调。如果我只使用我的标记示例并在训练特定任务 (BertForSequenceClassification) 时“随时”对其进行微调,则数据集太小,无法针对特定领域调整语言模型。这样做的最佳方法是什么? 谢谢!
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。