仅存储更改的Python字典

我使用Inspyred库编写了一个用于设计优化的代码及其遗传算法的实现.本质上,优化过程在单个数据结构上创建了大量变体,在我的例子中,这是一个嵌套字典.

为了减少进程中使用的内存量,我一直在尝试创建某种差异字典类型,它只存储与基本字典不同的项目.其原因在于,在典型情况下,数据结构中95％的数据不会在任何变体中被修改,但数据结构的任何部分都可以包含变体.因此,出于灵活性的原因,我希望数据类型的行为或多或少像字典,但只存储更改.

这是我试图创建这个的结果：

#!/usr/bin/python

import unittest
import copy

global_base={}

class DifferentialDict(object):
    """
    dictionary with differential storage of changes
    all DifferentialDict objects have the same base dictionary
    """

    def __init__(self,base=None):
        global global_base

        self.changes={}

        if not base==None:
            self.set_base(base)

    def set_base(self,base):
        global global_base
        global_base=copy.deepcopy(base)

    def __copy__(self):
        return self

    def __deepcopy__(self):
        new=DifferentialDict()
        new.changes=copy.deepcopy(self.changes)
        return new

    def get(self):
        global global_base
        outdict=copy.deepcopy(global_base)
        for key in self.changes:
            outdict[key]=self.changes[key]
        return outdict

    def __setitem__(self,key,value):
        self.changes[key]=value

    def __getitem__(self,key):
        global global_base
        if key in self.changes:
            return self.changes[key]
        else:
            return global_base[key]

class TestDifferentialDict(unittest.TestCase):
    def test1(self):
        ldict={'a':{1:2,3:4},'b':{'c':[1,2,3],'d':'abc'}}
        ddict=DifferentialDict(base=ldict)

        self.assertEqual(ddict['a'],{1:2,3:4})
        ddict['a']=5
        self.assertEqual(ddict['a'],5)

    def test2(self):
        ldict={'a':{1:2,'d':'abc'}}
        ddict1=DifferentialDict(base=ldict)
        ddict2=DifferentialDict(base=ldict)

        ddict1['a'][3]=5
        ddict2['a'][3]=7
        self.assertEqual(ddict1['a'][3],5)
        self.assertEqual(ddict2['a'][3],7)

    def test3(self):
        ldict={'a':{1:2,'d':'abc'}}
        ddict1=DifferentialDict(base=ldict)
        ddict2=ddict1.__deepcopy__()

        ddict1['a'][3]=5
        ddict2['a'][3]=7
        self.assertEqual(ddict1['a'][3],7)



if __name__ == "__main__":
    unittest.main()

它适用于简单的字典,但是当新字典嵌套在主字典中时会出现故障.我知道这是因为这些二级字典是真正的Python字典而不是我的DifferentialDict的实例化,导致覆盖global_base中的条目而不是self.changes中的更改.但是,它们必须是因为所有DifferentialDict实例共享相同的基本字典.我可以为每个DifferentialDict实例添加一个“入门级”键,但我的感觉是有一个更优雅的解决方案,这让我望而却步.

我真的很感激有关如何在嵌套时使我的差异字典工作的任何建议.提前致谢！

最佳答案

我现在没有时间尝试这个(可能稍后),但这里有两个观察结果：

综合指数

如果你使用元组作为索引,例如像这个dict [(5,3,2)]你就不会有这个问题.如果你的基础词典或差异词语都基于此,你就可以避免这个问题.

也许你甚至可以编写一些重写dict [a] [b] [c]到dict [(a,b,c)]的类来使这个内部变化透明化.

全球基地

我不明白为什么你使用全球基础.从我的角度来看,这使得代码更加复杂而不添加任何东西.为什么不直接存储基数：

def MyDict(collections.abc.MutableSequence):
    def __init__(self,base):
        self._base = base

my_global_base = dict()
d = MyDict(my_global_base)

d[2] = 'abc' # modifies self._base inside of the instance too,because it is the
             # same object

如果要更改基础的所有内容,只需使用popitem()删除所有项目,然后使用update()添加新项目.这样,由于全局变量,您的代码更灵活,并且没有任何令人惊讶的行为.

抽象基类

当重新实现序列,字典等类时,使用Python提供的abstract base classes可能会派上用场,它们可以为您完成一些实现工作.

仅存储更改的Python字典

相关推荐