微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

从稠密矩阵创建稀疏矩阵而不先初始化稠密矩阵

如何解决从稠密矩阵创建稀疏矩阵而不先初始化稠密矩阵

对于 NLP 任务,我正在创建一个文档术语矩阵,其维度为 4280 x 90141,具有 >98% 的零。该矩阵的密集表示需要大量内存,因此我想将其创建为稀疏矩阵。

在此 link 中,他们建议使用 Scipy。但据我所知,在进行稀疏转换之前,它需要对稠密矩阵进行初始化。是否有一个包/可用代码可以在不首先初始化密集矩阵的情况下创建稀疏文档项表示?

我正在考虑类似的事情:

dense_doc_term = []

for doc in corpus:
    dense_doc_term.append(Counter(doc))

这会是一个方法吗?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。