如何将模糊函数与 apply(lambda x: ) 函数结合起来？

如何解决如何将模糊函数与 apply(lambda x: ) 函数结合起来？

我有 2 个数据帧 df1 和 df2，如下所示：

df1：

Id    Name      
1    Tuy Hòa      
2    Kiến thụy 
3    Bình Tân

df2：

code    name      
A1     Tuy Hoà    
A2     Kiến Thụy  
A3     Tân Bình 

现在当我使用合并时：

out_df = pd.merge(df1,df2,left_on=['Name'],right_on=['name'],how='outer')

当然结果是空的，因为例如Tuy Hòa Tuy Hoà（问题是位置符号“`”），... 然后我使用模糊函数并应用 lambda 但它根本不正确:(

我的功能：

def checker(Name,names):
    correct_name = ''
    correct_ratio = 0
    if Name in names:
        ratio = 100
    else:  
        try:
            x = process.extractOne(Name,names,scorer=fuzz.token_set_ratio,score_cutoff = 80)
            correct_name = x[0]
            #correct_ratio = x[1]
        except:
            correct_name = ''
            #correct_ratio = 0
    return correct_name

然后我转换：

names = df2['name'].tolist()

之后我使用apply循环，比较并输出正确的（df1必须基于df2才能正确）

df1['Name'] = df1['Name'].apply(lambda x: checker(x,names) if not checker(x,names) else x)

现在的输出是：

df1

Id    Name      
1    Tuy Hòa      
2    Kiến Thụy 
3    Tân Bình

看起来 Tuy Hòa 和 Kiến Thụy 是正确的，但 Bình Tân 和 Tân Bình 是不同的名称！所以在这种情况下改变位置字符是正确的而不是输入错误:(期望输出应该是：

df1

Id    Name      
1    Tuy Hòa      
2    Kiến Thụy 
3    Bình Tân

我尝试将 fuzz.ratio 与 score_cutoff = 55 一起使用，但在某些情况下这会丢失对

有比我的解决方案更好的解决方案吗？ （也许没有使用模糊库？）请帮帮我。非常感谢您的帮助

解决方法

更新：策略与我之前的答案相同，但算法已从 Levenshtein distance 替换为 Damerau–Levenshtein distance。

我稍微修改了您的输入数据以更好地理解：

>>> df1
    Id        Name
11   1     Tuy Hòa  # match 18 'Tuy Hoà'
12   2   Kiến thụy  # match 16 'Kiến Thụy'
13   3    Bình Tân  # no match
14   4  Louis Paul  # no match

>>> df2
   code       name
16   A2  Kiến Thụy
17   A3   Tân Bình
18   A1    Tuy Hoà
19   A4   John Doe

使用带有 pyxDamerauLevenshtein 包的 Damerau-Levenshtein 距离计算改变一个字符所需的最小操作次数（包括单个字符的插入、删除或替换，或两个相邻字符的转置） （来源：Wikipedia）。

# pip install pyxDamerauLevenshtein
from pyxdameraulevenshtein import damerau_levenshtein_distance_seqs

seqs = df1['Name'].apply(lambda s: damerau_levenshtein_distance_seqs(s,df2['name'])

>>> seqs
11    [8,6,2,7]  # 11 <-> 18 (2 operations)
12    [1,7,8,7]  # 12 <-> 16 (1 operation)
13    [7,6]  # 13 <-> 17 or 19 (6 operations)
14    [9,9,8]  # 14 <-> 18 or 19 (8 operations)
Name: Name,dtype: object

应用 merge 并允许最大操作数：

MAXOPS = 3

df1['other'] = seqs.apply(lambda x: df2.index[x.index(min(x))]
                              if min(x) <= MAXOPS else pd.NA)
out = pd.merge(df1,df2,left_on='other',right_index=True,how='outer')

>>> out
       Id        Name other code       name
11.0  1.0     Tuy Hòa    18   A1    Tuy Hoà
12.0  2.0   Kiến thụy    16   A2  Kiến Thụy
13.0  3.0    Bình Tân  <NA>  NaN        NaN
14.0  4.0  Louis Paul  <NA>  NaN        NaN
NaN   NaN         NaN    17   A3   Tân Bình
NaN   NaN         NaN    19   A4   John Doe

现在您可以随意删除不需要的所有列，保留一个名称等。

,

如果您的两个 DataFrame 之间的偏差完全是

• 不同的口音
• 大写/小写差异和
• 交换了名字和姓氏，

我会在两个 DataFrames 中创建一个新列 name_normalized

• has all accents stripped
• 转换为小写和
• 对单个单词进行排序。

如果您仍然没有在 merge 上获得完全匹配，那么最好建议您查看现有的模糊匹配库，如问题 is it possible to do fuzzy match merge with python pandas?

中所述