如何解决如何计算多元逐点互信息
我一直在尝试从中文文本中提取新短语。 汉字由字符组成，假设我们有两个字符char1（表示大）和char2（表示建筑物），则可以形成一个新的中文单词[char1char2]：表示大建筑物。人们知道德国人会对此感到满意：如果我们有Rindfleisch和香肠，那么我们可以形成一个新的德语单词：Rindfleischwurst。 人们可以将几个（超过2个）字符或单词放在一起以形成另一个新单词。 但是，中文文本中的单词之间没有空格，始终看起来像“ char1char2char3char4char5，char6char7char8char9char10”。也许“ char2char3”是一个单词，“ char6char7”是一个单词，“ char8char9char10”是另一个单词。
好的，以上是一些背景知识。 因此，我的工作是确定是否可以将多个连续字符视为一个单词。
我的解决方案是计算逐点相互信息，以“ char1char2”为例： 首先，计算freq（char1），freq（char2），freq（char1char2）和文本中所有字符的频率， 第二，计算freq（char1）/ freq_of_all_chars，freq（char2）/ freq_of_all_chars，freq（char1char2）/ freq_of_all_chars 第三，如果我们通过频率近似概率，则可以计算出互信息= p（char1char2）/ p（char1）p（char2）
到目前为止，一切都很好。 问题出现了，然后是由2个以上字符组成的单词，例如char1char2char3，我的问题是如何为其计算互信息。 MI = p（char1char2char3）/ p（char1）p（char2）p（char3）或p（char1char2char3）/ p（char1）p（char1char2）或p（char1char2char3）/ p（char1char2）p（char3）？>版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
