Jaccard 通过对比后更适合用于文字的查重率
# import numpy as np # from scipy.spatial.distance import pdist#直接调包可以计算JC值 :需要两个句子长度一样；所以暂时不用 import jieba def Jaccrad(model,reference): terms_reference为源句子，terms_model为候选句子 terms_reference = jieba.cut(reference) 默认精准模式 terms_model = jieba.cut(model) grams_reference = set(terms_reference) 去重；如果不需要就改为list grams_model = set(terms_model) temp = 0 for i in grams_reference: 遍历传进来的list print("传进来对比的值",i) if i in grams_model: temp = temp + 1 fenmu = len(grams_model) + len(grams_reference) - temp 并集 计算并集数量 jaccard_coefficient = float(temp / fenmu) 交集 return jaccard_coefficient if __name__ == '__main__': a = 香农在信息论中提出的信息熵定义为自信息的期望 b = jaccard_coefficient = Jaccrad(a,b) print(jaccard_coefficient)
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
