如何解决TfIdfVectorizer 中的特征选择
我想使用 TfIdfVectorizer 对两组文档进行分类。但是 TfIdfVectorizer 会根据两个文档中的频率列出单词。例如，在下面的示例中，单词 Tom 和 Jerry 是定义单词，而 max_features 参数检索频繁出现的单词（'hi'、'is'、'my'）。显然，文档差异对于分类很重要，而不是相似之处。那么，如何提取每个文档中的行列式词呢？此外，停用词删除在这种情况下也没有真正的帮助。
from sklearn.feature_extraction.text import TfidfVectorizer
import pandas as pd
corpus = [
'hi,my name is Tom.','hi,my name is Jerry.'
]
vectorizer = TfidfVectorizer(max_features=3,ngram_range=(1,1))
X = vectorizer.fit_transform(corpus).todense()
df = pd.DataFrame(X,columns=vectorizer.get_feature_names())
df.to_csv('test.csv')
输出：
,hi,is,my
0,0.5773502691896258,0.5773502691896258
1,0.5773502691896258
预期输出：
,jerry,tom
0,0.0,0.5749618667993135
1,0.5749618667993135,0.0
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
