数据挖掘 – 词干对术语频率的影响？

术语频率(TF)和反向文档频率(IDF)如何受到停止词删除和词干的影响？

谢谢！

解决方法

tf是术语频率
idf是逆文档频率,它是通过将文档总数除以包含该项的文档数得到的,然后取该商的对数.

词干效应是对从同一词干派生的所有单词进行分组(例如：播放,播放,…),这种分组会增加此词干的出现,因为频率是用词干计算的,
例如,如果您有2个文档：
第一个包含’游戏’2次和’玩’5次,
第二个文件包含“播放”3次和“播放”1次
如果你搜索’play’而没有阻止第二个文件将是第一个,因为它更多地出现’play’这个词,而如果你做了词干,那么两个词在词干后都会’播放’,第一个文件将是首先它包含干play播放7次,第二个文件包含干play播放4次.

关于停用词删除,它经常在所有文档中找到,并且不被视为任何一个的关键字,它将具有高频率而没有任何场景.

原文地址：https://www.jb51.cc/html/232393.html