微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

NLP笔记-从HMM到CRF

 

通过收集大量有标注的语料,估算状态转移概率和发射概率

 

HMM如何做词性标注

 

 

 最笨的办法是穷举y来求P(x,y)的最大值,但是计算次数太多,所以通过维特比算法解这个问题

 

 但是HMM有问题,加入y*是最优解,它并不能总是保证p(x,y*)>=p(x,y),比如在这个图里,如果要算N->?->a,按照HMM,?应该是V,但是在训练集中根本没有出现过N->V->a,反而出现过

 N->D->a,所以最优解应该是D不是V。但是在训练数据少的时候,这反而是一个优点

CRF的概率用神经网络算,虽然看起来和HMM完全不一样,但是实际上一样

 

 

 

 上图中的logP(x|y)看着不好理解,下面举个例子

 

 

 所以logP(x|y)可以写成这样

 

 

 

CRF的训练,用梯度上升

 

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐