如何解决有没有一种方法可以为句子否定执行自定义 TFIDF?
我使用 TFIDF 来计算文章之间的相似度,但我有一个问题,它认为这两个句子是相似的:
I am against this project
I am for this project
我怎样才能改进我的方法来考虑这句话的否定?
解决方法
有一次我不得不遇到这个问题。通常使用 tf-idf 很难解决这个问题,而您需要更复杂的 NLP 模型,即 BERT,来查找句子在语义上是相似还是相反。但如果您的用例与您的示例类似,您可以执行以下操作。
我假设你的文章/文件/句子就这么简单。所以通常你会遇到两种意义相反的句子。一种是使用 n't
/not
标记,其他类型只是使用相反的词。使用 nltk
库,您可以查找两个句子中是否存在含义相反的单词(反义词)。然后你就可以轻松决定了。
我添加了 msayef 的评论。您可能还想考虑 negative adverbs。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。