如何解决Pytorch:使用nn.Embedding编码分类特征
我是Pytorch的新手。我学习了一些有关如何使用pytorch构建简单的NN模型的教程,例如(this one)。我发现他们更喜欢nn.Embedding编码分类特征。我的问题是:(1)为什么不使用一种热编码? (2)nn.Embedding是随机初始化的,我认为将不会训练嵌入的数值,因为它们被视为输入。如果nn.Embedding随机初始化分类特征,会对训练产生负面影响吗?
解决方法
(1)嵌入通常是较低维的且连续的。这使它们更适合于NN训练。
(2)如果您刚刚初始化它们,则应该对其进行培训。它们被认为是模型的一部分,有点像一个连接,将一个热编码值与模型的其余部分连接起来。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。