获取日语文本的 METEOR 分数

如何解决获取日语文本的 METEOR 分数

我希望为多个日语字符串生成 METEOR 乐谱。我已经导入了 nltk、wordnet 和 omw，但结果并没有让我相信它可以正常工作。

from nltk.corpus import wordnet
from nltk.translate.meteor_score import single_meteor_score

nltk.download('wordnet')
nltk.download('omw')

reference = "チップは含まれていません。"
hypothesis = "チップは含まれていません。"

print(single_meteor_score(reference,hypothesis))

这输出 0.5 但肯定它应该更接近于 1.0，因为参考和假设是相同的？

我是否需要以某种方式指定我想在调用 single_meteor_score() 时使用哪种 wordnet 语言，例如：

single_meteor_score(reference,hypothesis,wordnet=wordnetJapanese。

解决方法

有待合格语言学家的审核，我似乎找到了解决方案。我找到了一个用于日语的开源标记器。我对所有参考和假设字符串进行了预处理，以在日语标记之间插入空格，然后在文件上运行 nltk.single_meteor_score()。