微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

在多列上独立使用 TFIDF

如何解决在多列上独立使用 TFIDF

我想根据 2 个不同列中存在的信息将数据分类。我想独立地将 TFIDF 向量化应用到两列 - 即为 2 列中存在的信息使用单独的向量,并分别转换 2 个测试数据列。

这是我仅用于向量化一列 (VLOB_D&B) 的代码 -

Train_X,Test_X,Train_Y,Test_Y = 
model_selection.train_test_split(Corpus['VLOB_D&B'],Corpus['category_id'],test_size=0.3,stratify = 
Corpus['category_id'])


Tfidf_vect = TfidfVectorizer(sublinear_tf=True,min_df=2,ngram_range=(1,2))
Tfidf_vect.fit(Train_X)
Train_X_Tfidf = Tfidf_vect.transform(Train_X)
Test_X_Tfidf = Tfidf_vect.transform(Test_X)

我不想连接信息,因为两列具有不同的意义。如何在单独的列上独立应用 TFIDF 矢量化?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。