如何解决由于内存限制,Pandas dataFrame 导致崩溃
我是 Python 和推荐系统的初学者。
我想用这个教程在 python 中实现一个推荐系统:
但是当我运行该项目时,它因为内存限制而崩溃:
MemoryError: Unable to allocate 71.5 GiB for an array with shape (162541,59047) and data type float64
我知道这是因为数据帧大小(100k 行,25 列)。 生成此数据帧的代码:
def create_interaction_matrix(df,user_col,item_col,rating_col,norm=False,threshold=None):
'''
Function to create an interaction matrix dataframe from transactional type interactions
required Input -
- df = Pandas DataFrame containing user-item interactions
- user_col = column name containing user's identifier
- item_col = column name containing item's identifier
- rating col = column name containing user Feedback on interaction with a given item
- norm (optional) = True if a normalization of ratings is needed
- threshold (required if norm = True) = value above which the rating is favorable
Expected output -
- Pandas dataframe with user-item interactions ready to be fed in a recommendation algorithm
'''
interactions = df.groupby([user_col,item_col])[rating_col] \
.sum().unstack().reset_index(). \
fillna(0).set_index(user_col)
if norm:
interactions = interactions.applymap(lambda x: 1 if x > threshold else 0)
return interactions
但我不知道解决它。
- 是否有任何替代数据类型或使用较少 RAM(至少小于 4GB)的 pandas.dataFrame 的任何内容?或者任何生成较小数据帧的解决方案?
- 是否有任何解决方案可以在硬盘驱动器中保存/加载数据帧?还是在 RAM 使用较少的内存中?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。