微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

从 LSI 中的 TruncatedSVD 恢复原始文档

如何解决从 LSI 中的 TruncatedSVD 恢复原始文档

我使用来自 Scikit-learn 的 TruncatedSVD 来执行 LSA/LSI(潜在语义索引)。我目前拥有的:

  1. 从我的文本语料库中创建 TF-IDF 矩阵,其中每一列是一个文档(加权字数),每行是一个
  2. 使用 TruncatedSVD
  3. 将维度减少到 200x200 矩阵
  4. 标准化矩阵列,使它们的长度为 1

我想对这些文本进行搜索。所以对于新查询我:

  1. 使用 TF-IDF 对其进行转换
  2. 使用先前创建和拟合的 TruncatedSVD 降低维度
  3. 使用 200x200 矩阵的列计算点积

所以我有长度为 200 的向量,其中查询向量和使用 SVD 降维提取的“主题”/“概念”之间有相似之处。

问题:我想根据相似性而不是主题提取原始文档并对其进行排名。这可能吗?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。