微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

关于 GPT-1 辅助目标的输入

如何解决关于 GPT-1 辅助目标的输入

论文(通过无监督学习提高语言理解)在微调阶段使用辅助目标,它由两个带有标记数据集的目标函数组成。

然而,第一个目标(L_1)的输入是无监督的标记,而第二个目标也使用标签。 另外,L_1 的域是一组标记,而 L_2 似乎是集合的集合。

但是辅助目标中的L_1采用了监督数据集,它似乎是集合和标签对的集合。 我想知道该函数如何接受不同形状的输入?

谢谢。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。