微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何在无法腌制的python中保存大型机器学习模型?

如何解决如何在无法腌制的python中保存大型机器学习模型?

我正在使用dill.dump()保存我拥有的(机器学习库)模型时遇到问题,但是,这会引发错误,这似乎与模型的大小有关

/usr/local/python/3.6.2-static/lib/python3.6/pickle.py in save_bytes(self,obj)
    699             self.write(BINBYTES8 + pack("<Q",n) + obj)
    700         else:
--> 701             self.write(BINBYTES + pack("<I",n) + obj)
    702         self.memoize(obj)
    703     dispatch[bytes] = save_bytes

error: 'I' format requires 0 <= number <= 4294967295

我试图找到一种保存i的解决方案。在此link中,作者建议作者建议另存为HDF5文件

我不确定是否以正确的方式编写了该命令,但是我试图将模型“ ola”保存为hdf

from klepto.archives import *
file_archive('model_la.pkl',ola,serialized=True)

它引发错误

~/my-env/lib/python3.6/site-packages/klepto/archives.py in __new__(file_archive,name,dict,cached,**kwds)
    118         archive = _file_archive(name,**kwds)
    119         if cached: archive = cache(archive=archive)
--> 120         archive.update(dict)
    121         return archive
    122 

TypeError: 'OLA' object is not iterable

OLA是我使用的算法。你有什么主意吗?如何保存该模型?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。