从头开始的 PCA 和 Sklearn PCA 给出不同的输出

如何解决从头开始的 PCA 和 Sklearn PCA 给出不同的输出

我正在尝试从头开始实施 PCA。代码如下：

sc = StandardScaler()  #standardization
X_new = sc.fit_transform(X)
Z = np.divide(np.dot(X_new.T,X_new),X_new.shape[0])  #covariance matrix
eig_values,eig_vectors = np.linalg.eig(Z)           #eigen vectors calculation 
eigval_sorted = np.sort(eig_values)[::-1]             
ev_index  =np.argsort(eigval_sorted)[::-1]
pc = eig_vectors[:,ev_index]                         #eigen vectors sorts on the basis of eigen values
W = pc[:,0:2]                                        #extracting 2 components
print(W)

并获得以下组件：

[[ 0.52237162 -0.37231836]
[-0.26335492 -0.92555649]
[ 0.58125401 -0.02109478]
[ 0.56561105 -0.06541577]]

当我使用 sklearn 的 PCA 时，我得到以下两个组件：

array([[ 0.52237162,-0.26335492,0.58125401,0.56561105],[ 0.37231836,0.92555649,0.02109478,0.06541577]])

投影到新的特征空间给出以下不同的数字：

我哪里做错了，可以做些什么来解决问题？

解决方法

PCA 的结果在技术上不是 n 个向量，而是 n 维的子空间。该子空间由跨越该子空间的 n 个向量表示。

在你的例子中，虽然向量不同，但跨越的子空间是相同的，所以 PCA 的结果是相同的。

如果您想将您的解决方案与 sklearn 解决方案完美对齐，您需要以相同的方式规范化您的解决方案。显然 sklearn 更喜欢正值而不是负值？您需要深入研究他们的文档。

---

编辑： 是的，当然，我写的是错误的。算法本身返回有序的正交基向量。因此，长度为 1 且彼此正交的向量，按照它们对数据集的“重要性”进行排序。所以更多的信息不仅仅是子空间。

然而，如果 v,w,u 是 PCA 的解，那么 +/- v,u 也应该是。

---

编辑：似乎 np.linalg.eig 没有机制保证它也将返回表示特征空间的相同特征向量集，另见此处： NumPy linalg.eig

因此，新版本的 numpy，或者今天星星的排列方式，可以改变您的结果。虽然，对于 PCA，它应该只在 +/-