如何解决如何获得 CountVectorizer ngram 频率
我有一个包含约 50k 个短文本的数据集，每个文本平均有 9 个标记。它们包含大量不常见的标记（'nw'、'29203822'、'x989' 等）以及常规单词，我相信这些会降低我的分类工作。我想生成一个最常见的 n-gram 的停用词列表，这些 n-gram 不提供任何价值并删除它们。我认为最好的方法是在我的 Count Vectorizer 之后但在我的 TF-IDF 之前获得这些计数。
count_vect = CountVectorizer(ngram_range=(1,4))
X_train_counts = count_vect.fit_transform(X_train)
X_train_counts.shape
(19859,122567)
count_vect.vocabulary_
{'look': 66431,'1466': 1827,'cl sign': 23055,'in': 56587,...}
我没有看到任何用于输出数据集中这些 ngram 的频率的函数。有没有？谢谢！
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。