使用fuzzywuzzy

如何解决使用fuzzywuzzy

我拥有的数据集是手动填充的地址。

我想要寻找的城市是“伊斯坦布尔”。它有一个土耳其语字符，我也遇到了一些编码问题。例如，在 İstanbul 中使用 lower()'ing 不会返回一个我可以在正则表达式模式中使用常规 'i' 获取的字符。

因此，以及其他原因，我改变了模糊字符串搜索的方法。我想为我的模糊查找算法提供参考字符串：'/ist' 和 'İstanbul' - 这些是要在我的地址列中查找的参考值。

包含我想要捕捉的短语的行示例：

...İSYTANBUL...
...isanbul...
...Istanbul...
...İ/STANBUL...
...,STANBUL/ÜSKÜDAR...
isatanbul
iatanbul
İSTRANBUL
isytanbul
/isanbul

这些是完整的地址，所以我发现 partial_ratio 比 ratio 更有效。

我的目标是在行级别使用模糊 wuzzy.partial_ratio 和字符串 'istanbul' 或 '/ist。并使用分数 partial_ratio 返回为该行索引的首选列获取 True 或 False — 在代码中引用为 'istanbul mu'。

我开发的代码如下，但每次运行时它都会停在大约 25k 行处。而且速度非常慢。你认为有没有更高效的方式来完成任务？

def fuzzy(string,df,columnname):
        fullrange = len(df[columnname])
        for i in range(fullrange):
            if fuzz.partial_ratio(string,df[columnname][i]) > 70:
                df.loc[df.index == i,'istanbul mu'] = True
            else:
                df.loc[df.index == i,'istanbul mu'] = False

解决方法

这种方法做得更好。使用 .process 可能会产生更好的结果，但仅供参考：

def applyfuzzy(row):
    if fuzz.partial_ratio('the string',row['column holding the address to be queried']) > 65:
        return True
    else:
        return False
df['preferredcolumn'] = df.apply(applyfuzzy,axis=1)

,

作为您自己答案的更快替代方案，您可以将 FuzzyWuzzy 替换为 RapidFuzz，它具有更快的 fuzz.partial_ratio 实现

from rapidfuzz import fuzz
def applyfuzzy(row):
    return fuzz.partial_ratio('the string',row['address_column'],score_cutoff=70) > 70

df['column'] = df.apply(applyfuzzy,axis=1)