使用PCA的评分随着组件数量的增加而增加

如何解决使用PCA的评分随着组件数量的增加而增加

我最近开始研究机器学习以及与之相关的使用python的知识。今天，我正在处理一个数据集，在该数据集上我想应用降维并应用我的模型来评估得分。该数据集具有30个功能。

我从一个简单的算法开始，即Logistic回归，但是在应用Logistic回归之前，我想进行PCA。 为了确定最好的组件数，我将gridsearchCV与logistic回归一起使用，仅使用C参数和PCA（在其中选择组件数）。 我得到的结果是，我用于PCA的组件越多，精度得分就越高。对于我的n_components = 30的示例，我的精度得分为0.81。

问题是我认为PCA用于减少尺寸（即使用更少的功能），并且可以帮助增加分数。有我不明白的东西吗？

.on("click",this.click.bind(this));

输出：最佳参数（CV分数= 0.881）： {'logistic__C'：0.01，'pca__n_components'：30}

提前感谢您的回复

编辑：我添加了此屏幕截图，以获取有关分数以及组件

的得分的更多信息

解决方法

通常，进行尺寸缩减时，您会丢失一些信息。因此，使用PCA的全部功能获得更高的分数也就不足为奇了。使用很少的功能确实可以帮助提高分数，但不一定，使用PCA减少尺寸还有其他充分的理由。这是PCA的主要优点：

• PCA是一种很好的降维技术（有其自身的局限性），因为它会将数据集的方差集中在计算出的新空间的第一维上。因此，就数据集所载信息（在某些假设下）而言，删除最后一个特征的成本最低。使用PCA进行尺寸缩减通过限制特征数量来减轻过度装配的风险，同时减少最少的信息量。从这个意义上讲，较少的功能可以通过避免过度拟合来提高得分，但这并不总是正确的。

• 使用PCA进行降维处理嘈杂数据时也很有用。 PCA不会直接消除噪声，但是前几个特征将具有更高的信噪比，因为数据集的方差集中在此。然后，最后的功能可能会被噪声控制并掉线。

• 由于PCA在新的正交基础上投影数据集，因此新功能将彼此独立。许多机器学习算法通常需要此属性以实现最佳性能。

当然，在任何情况下都不应使用PCA，因为它具有自己的假设和局限性。以下是我认为的主要内​​容（并非详尽无遗）：

• PCA对变量的缩放敏感。例如，如果您的数据集中有一个temperature列，您将得到不同的转换，这取决于您使用摄氏度还是华氏度作为单位，因为它们的比例不同。当变量具有不同的比例时，PCA有点随意。可以通过将所有变量缩放为单位方差来纠正此问题，但要以修改（压缩或扩展）变量在所有维度上的波动为代价。

• PCA捕获特征之间的线性相关性，但无法捕获非线性相关性。

在您的情况下，有趣的是比较使用PCA转换和不使用PCA转换获得的分数。您会看到使用它是否有好处。

最后但并非最不重要的是，您的情节显示了一件有趣的事情。 20到30个特征之间的分数增加非常低（1％？）。您可能想知道，对于这种极低的增益，是否值得保留十个其他功能。实际上，保留更多特征会增加具有较低泛化能力的模型的风险。交叉验证已经减轻了这种风险，但是不能保证在将模型应用于看不见的数据时，这些看不见的数据将具有与训练数据集完全相同的属性。