Python：difflib.get_close_matches 比较修改后的文本但返回原始文本

如何解决Python：difflib.get_close_matches 比较修改后的文本但返回原始文本

我从文本中提取了一个单词列表，但在文本预处理过程中，为了便于比较，我将所有内容都小写了。

我的问题是如何使列表中提取的单词与原始文本中完全相同？

我尝试首先对原始文本进行分词，然后在这个分词列表中找到与我从文本中提取的单词列表最接近的匹配项。我使用以下各项来查找最接近的匹配项：

1. nltk.edit_distance
2. difflib.get_close_matches

但他们都没有像我想要的那样工作。他们以某种方式提取了相似的单词，但与它们在原始文本中出现的不完全相同。我认为问题在于这些方法对小写单词和大写单词的处理方式不同。

提取的单词可以是 unigram，bigram 最多 5-gram。

示例：

我从文本[rfid alert]中提取了以下bigram，但在原始文本中它看起来像这样[RFID alert]。

使用后

difflib.get_close_matches('rfid alert',original_text_unigram_tokens_list)

它的输出是[profile Caller]，而不是[RFID alert]。那是因为python是区分大小写的。我认为它发现 original_text_unigram_tokens_list 中来自 [rfid alert] 的不同字符数最少的二元组是 [profile Caller] 所以它返回了 [个人资料来电者]。

因此，我的问题是：是否有任何现成的方法或任何解决方法可以完全返回文本中出现的 ngram 的原始形式？例如，我想在上面的示例中获得 [RFID alert] 而不是 [profile Caller]，依此类推。

感谢您的帮助。提前致谢。

解决方法

与 this question 类似，您可以获取和修改 difflib.get_close_matches 的源代码并使其适应您的需要。

我所做的修改：

• cutoff 默认值提高到 0.99（理论上它甚至可以是 1.0，但为了确保数值错误不会影响结果，我传递了一个较小的数字）。

• s.set_seq1(x.lower()) - 以便在小写字符串之间进行比较（但返回原始 x）

修改后的函数的完整代码：

from difflib import SequenceMatcher,_nlargest  # necessary imports of functions used by modified get_close_matches

def get_close_matches_lower(word,possibilities,n=3,cutoff=0.99):
    if not n >  0:
        raise ValueError("n must be > 0: %r" % (n,))
    if not 0.0 <= cutoff <= 1.0:
        raise ValueError("cutoff must be in [0.0,1.0]: %r" % (cutoff,))
    result = []
    s = SequenceMatcher()
    s.set_seq2(word)
    for x in possibilities:
        s.set_seq1(x.lower())  # lower-case for comparison
        if s.real_quick_ratio() >= cutoff and \
           s.quick_ratio() >= cutoff and \
           s.ratio() >= cutoff:
            result.append((s.ratio(),x))

    # Move the best scorers to head of list
    result = _nlargest(n,result)
    # Strip scores for the best n matches
    return [x for score,x in result]

以及您给出的示例的结果：

print(get_close_matches_lower('rfid alert',['profile Caller','RFID alert']))

印刷：

['RFID alert']