p(class) * p(words|class) Bayes theorem: p(class|words) = ------------------------- with p(words) assumption that p(words) is the same for every class leads to calculating arg max p(class) * p(words|class) with p(words|class) = p(word1|class) * p(word2|topic) * ... and p(class) = #words in class / #words in total and p(word,class) 1 p(word|class) = -------------- = p(word,class) * -------- = p(class) p(class) #times word occurs in class #words in total #times word occurs in class --------------------------- * --------------- = --------------------------- #words in total #words in class #words in class Example: ------+----------------+-----------------+ class | words | #words in class | ------+----------------+-----------------+ pos | happy win nice | 3 | neu | neutral middle | 2 | neg | sad loose bad | 3 | ------+----------------+-----------------+ p(pos) = 3/8 p(neu) = 2/8 p(meg) = 3/8 Calculate: argmax(sad loose) p(sad loose|pos) = p(sad|pos) * p(loose|pos) = (0+1)/3 * (0+1)/3 = 1/9 p(sad loose|neu) = p(sad|neu) * p(loose|neu) = (0+1)/3 * (0+1)/3 = 1/9 p(sad loose|neg) = p(sad|neg) * p(loose|neg) = 1/3 * 1/3 = 1/9 p(pos) * p(sad loose|pos) = 3/8 * 1/9 = 0.0416666667 p(neu) * p(sad loose|neu) = 2/8 * 1/9 = 0.0277777778 p(neg) * p(sad loose|neg) = 3/8 * 1/9 = 0.0416666667 <-- should be 100% neg!
正如你所看到的,我已经用正面(“快乐赢得好”),中立(“中立中间”)和负面(“悲伤松散坏”)推文“训练”了分类器.为了防止由于所有类中缺少一个单词而导致概率为零的问题,我使用LaPlace(或äddone“)平滑,请参阅”(0 1)“.
我基本上有两个问题:
>这是一个正确的实施蓝图吗?还有改进的余地吗?
>在对推文进行分类时(“悲伤的松散”),预计在“neg”类中为100%,因为它只包含否定词.然而,LaPlace平滑使事情变得更复杂:类pos和neg具有相同的概率.这有解决方法吗?
解决方法
>应用拉普拉斯平滑时,应将其应用于所有测量,而不仅仅应用于具有零分母的测量.
>此外,对于这种情况的拉普拉斯平滑通常由(c 1)/(N V)给出,其中V是词汇量大小(例如,参见Wikipedia).
因此,使用您已定义的概率函数(可能不是最合适的,见下文):
p(sad loose|pos) = (0+1)/(3+8) * (0+1)/(3+8) = 1/121 p(sad loose|neu) = (0+1)/(3+8) * (0+1)/(3+8) = 1/121 p(sad loose|neg) = (1+1)/(3+8) * (1+1)/(3+8) = 4/121 <-- would become argmax
此外,首先计算概率的更常见方法是:
(number of tweets in class containing term c) / (total number of tweets in class)
例如,在上面给出的有限列车组中,并且忽略平滑,p(sad | pos)= 0/1 = 0,并且p(sad | neg)= 1/1 = 1.当列车组大小增加时,数字将是更有意义.例如如果你有负10个推文,其中4个出现’悲伤’,那么p(sad | neg)将是4/10.
关于朴素贝叶斯算法输出的实际数字:你不应该期望算法为每个类分配实际概率;相反,类别顺序更重要.具体来说,使用argmax会给出算法对类的最佳猜测,但不是它的概率.为NB结果分配概率是另一个故事;例如,请参阅article讨论此问题.
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。