微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

微调休闲语言模型

如何解决微调休闲语言模型

我想通过特定对话交流中的拥抱脸微调变压器模型,以便教它像特定的说话者一样聊天。例如,训练模型像哈利波特一样说话,考虑到他在电影中的所有对话交流,或者像任何角色/个人一样说话,考虑到他们与另一个人之间的对话交流。

我见过 Huggingface 的 conversational ai article,但它似乎比必要的复杂,包括“个性”,并且不使用 Huggingface 库。

我研究了 Huggingface 的 DialoGPT,它说要对其进行微调,我们应该使用“因果语言建模训练”,并且应该以与 GPT-2 相同的方式对其进行微调。我找不到任何使用拥抱脸变压器完成的例子。它指的是论文,这对我也没有多大帮助。

我之前使用 Huggingface 对 BART 进行了条件生成微调,这非常简单直观。我想知道是否存在一些类似的方法来微调给定示例对话的 GPT/GPT-2/DialoGPT。

提前致谢

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。