如何根据用fuzzywuzzy ratio计算的相似度从列表中消除重复的字符串？

如何解决如何根据用fuzzywuzzy ratio计算的相似度从列表中消除重复的字符串？

假设有 4 个列表：

1) [12b,shanti vihar,12b shanti bihar,201 Anupam residency,401 enclaves]
2) [12b,401 enclaves]
3) [12b,12b shanti vihar,12b shanti bihar]
4) [12b,12b rue de Paris road,401 enclaves]

将这4个列表插入到fuzzymatch函数后，它应该根据模糊分数（超过90%）删除重复的字符串并返回：

1) [12b,shanti vihar]
4) [12b,401 enclaves]

为了更清楚地说明情况 1) [12b,201 Anupam Residence,401 enclaves] 12b,shanti vihar 和 12b shanti bihar 是重复的（相同地址或相同含义），这就是为什么它们将有更高的模糊相似度得分（超过 90%），而其他人的得分较低，因为它们是不同的。所以我只需要在最终输出中保留二分之一，即 [12b,201 Anupam 居住地,401 enclaves]。同样，在情况 3) 中，所有地址都相同，因此在最终输出中我只需要一个地址：[12b,shanti vihar]。

所以我试图实现这一点，但我不确定我是否以正确的方式去做：

def fuzzydeduplicate(list_address):
    
    
    list=[]
    for i in list_address:
        
       
        add_list=process.extract(i,list_address,scorer=fuzz.token_set_ratio)
       
            
        list.append(add_list)
    return list

调用此函数后，我得到的输出为：

[[('12b,shanti vihar',100),('12b,shanti bihar',94),('301 anupam residency',28),('13x',11)],[('12b,[('13x',11),9)],[('301 anupam residency',33),9)]]

从这里开始，我想根据相似度得分（超过 90%）消除重复字符串并获得所需的输出。

谁能帮帮我？在实现这一点？

解决方法

import pandas as pd
from fuzzywuzzy import fuzz

elements = ['12b,shanti vihar','12b,shanti bihar','401 enclaves','301 anupam residency']


remove = []
for (i,element) in enumerate(elements):
    #print(element)
    #print(i)
    for (j,choice) in enumerate(elements[i+1:]):
        #print(choice)
        #print(j)
        if fuzz.ratio(element,choice) >= 90:
            print('duplicate index ='+ str(j+i+1))
            remove.append(j+i+1)
            #if choice not in remove:
                
                #remove.append(choice)
print('///////')
remove_2 = []
for string in set(remove):
    
    print(string)
    print(elements[string])
    remove_2.append(elements[string])
    #del elements[string]
for i in remove_2:
    elements.remove(i)