分析步骤:
第一步:将one-hot形式分词结果作为输入([0,1,0....,0]的列向量的V*1维词向量),与投影矩阵C(D*V维度)相乘,得到D*1维的向量
第2步:将第一步的输出结果做拼接,作为隐藏层的输入。
第3步:经过一个全连接的神经网络,经过激励层,再softmax,得到该词出现的概率矩阵和互熵损失。不断训练输出结果,改善权重矩阵C(可以发现C的列向量就是该词的词向量表现形式)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。