如何解决如何在非常小的数据集上训练?
我们正试图了解 Rasa 的底层模型——那里的论坛仍然没有给我们答案——关于两个主要问题:
-
我们知道 Rasa 模型是一种基于转换器的架构。是吗 在任何数据集上预训练? (例如维基百科等)
-
那么,如果我们 正确理解,意图分类是一项微调任务 在那个变压器的顶部。为什么它适用于这么小的 训练集?
感谢任何见解!
谢谢
利奥
解决方法
transformer 模型未在任何数据集上进行预训练。我们使用了相当浅的转换器堆栈,它不像大型预训练语言模型中使用的更深的转换器堆栈那样需要数据。 话虽如此,没有确切数量的数据点足以训练您的助手,因为它因域和您的问题而异。通常,一个好的估计是每个意图 30-40 个示例。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。