如何解决如何在无法腌制的python中保存大型机器学习模型?
我正在使用dill.dump()
保存我拥有的(机器学习库)模型时遇到问题,但是,这会引发错误,这似乎与模型的大小有关
/usr/local/python/3.6.2-static/lib/python3.6/pickle.py in save_bytes(self,obj)
699 self.write(BINBYTES8 + pack("<Q",n) + obj)
700 else:
--> 701 self.write(BINBYTES + pack("<I",n) + obj)
702 self.memoize(obj)
703 dispatch[bytes] = save_bytes
error: 'I' format requires 0 <= number <= 4294967295
我试图找到一种保存i的解决方案。在此link中,作者建议作者建议另存为HDF5
文件。
我不确定是否以正确的方式编写了该命令,但是我试图将模型“ ola”保存为hdf
from klepto.archives import *
file_archive('model_la.pkl',ola,serialized=True)
它引发错误:
~/my-env/lib/python3.6/site-packages/klepto/archives.py in __new__(file_archive,name,dict,cached,**kwds)
118 archive = _file_archive(name,**kwds)
119 if cached: archive = cache(archive=archive)
--> 120 archive.update(dict)
121 return archive
122
TypeError: 'OLA' object is not iterable
OLA
是我使用的算法。你有什么主意吗?如何保存该模型?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。