从字典列表中删除值几乎重复的字典-Python

如何解决从字典列表中删除值几乎重复的字典-Python

|| 我要根据以下规则清理字典列表： 1）字典列表已经排序，因此首选较早的字典。 2）在较低的dict中，如果

[\'name\']

和

[\'code\']

字符串值与列表上较高位置的任何dict的键值匹配，并且这2个dict之间的

int([\'cost\'])

之差的绝对值为

< 2

；那么该dict被假定为较早dict的重复，并从列表中删除。 这是字典列表中的一个字典：

{
\'name\':\"ItemName\",\'code\':\"AAHFGW4S\",\'from\':\"NDLS\",\'to\':\"BCT\",\'cost\':str(29.95)
 }

删除重复项的最佳方法是什么？     

解决方法

可能会有更多的pythonic方法，但这是基本的伪代码：

def is_duplicate(a,b):
  if a[\'name\'] == b[\'name\'] and a[\'cost\'] == b[\'cost\'] and abs(int(a[\'cost\']-b[\'cost\'])) < 2:
    return True
  return False

newlist = []
for a in oldlist:
  isdupe = False
  for b in newlist:
    if is_duplicate(a,b):
      isdupe = True
      break
  if not isdupe:
    newlist.append(a)

    ,因为您说成本是整数，所以可以使用：

def neardup( items ):
    forbidden = set()
    for elem in items:
        key = elem[\'name\'],elem[\'code\'],int(elem[\'cost\'])
        if key not in forbidden:
            yield elem
            for diff in (-1,1): # add all keys invalidated by this
                key = elem[\'name\'],int(elem[\'cost\'])-diff
                forbidden.add(key)

这实际上是计算差异的一种较不复杂的方法：

from collections import defaultdict
def neardup2( items ):
    # this is a mapping `(name,code) -> [cost1,cost2,... ]`
    forbidden =  defaultdict(list)
    for elem in items:
        key = elem[\'name\'],elem[\'code\']
        curcost = float(elem[\'cost\'])
        # a item is new if we never saw the key before
        if (key not in forbidden or
              # or if all the known costs differ by more than 2
              all(abs(cost-curcost) >= 2 for cost in forbidden[key])):
            yield elem
            forbidden[key].append(curcost)

两种解决方案都避免了重新扫描每个项目的整个列表。毕竟，只有在

(name,code)

相等的情况下，代价才会变得有趣，因此您可以使用字典快速查找所有候选对象。     ,有点令人费解的问题，但我认为这样会起作用：

for i,d in enumerate(dictList):
    # iterate through the list of dicts,starting with the first
    for k,v in d.iteritems():
        # for each key-value pair in this dict...
        for d2 in dictList[i:]:
             # check against all of the other dicts \"beneath\" it
             # eg,# if d[\'name\'] == d2[\'name\'] and d[\'code\'] == d2[\'code\']:
             #     --check the cost stuff here--