如何在多个预测器上应用 tf-idf，不想连接成单个列

如何解决如何在多个预测器上应用 tf-idf，不想连接成单个列

我有两个预测器 - 想使用 tf-idf 将它们中的每一个向量化（不想连接它们，因为我们需要为每个预测器使用单独的词汇表）。我应该在每个上应用 tf-idf 矢量化器，然后加入这些功能。

例如如果我在预测器 1 上应用 tf-idf，我会从中得到 100 个特征，从预测器 2 中得到 200 个特征。我的训练数据特征只是 300 (100+200)。我的想法正确吗？

我会从中得到两个矩阵（每个预测器一个），我可以使用 numpy 函数连接它们并将它们用作特征吗？

解决方法

您对完成这项工作的建议是正确的。像这样使用两个向量的最常见方法是将它们连接成一个更长的向量，然后将其提供给模型。

如果出于某种原因，这对您不起作用，我们可以根据您的限制条件探索替代方案。

例如，如果您的约束是总维度大小，解决此问题的一种方法是创建多层 MLP 自动编码器

• 我们可以用组合向量作为输入和输出来训练它，直到编码器被训练
• 随后，我们可以使用任何中间层的激活作为我们模型的输入

如果您能在问题中描述您的限制，那么建议解决方案会更容易。