主成分分析（PCA）

 主成分分析（Principal Component Anal ysis，PCA）是最常用的

一种降维方法，通常用于高维数据集的探索与可视化，还可以用作数

据压缩和预处理等。

 PCA可以把具有相关性的高维变量合成为线性无关的低维变量，称为

主成分。主成分能够尽可能保留原始数据的信息。

方差：是各个样本和样本均值的差的平方和的均值，用来度量一组

数据的分散程度。

协方差：用于度量两个变量之间的线性相关性程度，若两个变量的

协方差为0，则可认为二者线性无关。协方差矩阵则是由变量的协方差值

构成的矩阵（对称阵）。

特征向量：矩阵的特征向量是描述数据集结构的非零向量，并满足

如下公式：

A是方阵，是特征向量，是特征值。

=

主成分分析

原理：矩阵的主成分就是其协方差矩阵对应的特征向量，按照对应

的特征值大小进行排序，最大的特征值就是第一主成分，其次是第二主

成分，以此类推。

主成分分析-算法过程

代码实现，对花的特征进行降维

import matplotlib.pyplot as plt

from sklearn.decomposition import PCA

from sklearn.datasets import load_iris

 

data = load_iris()

y = data.target

X = data.data

pca = PCA(n_components=2)

reduced_X = pca.fit_transform(X)

 

red_x, red_y = [], []

blue_x, blue_y = [], []

green_x, green_y = [], []

 

for i in range(len(reduced_X)):

 if y[i] == 0:

 red_x.append(reduced_X[i][0])

 red_y.append(reduced_X[i][1])

 elif y[i] == 1:

 blue_x.append(reduced_X[i][0])

 blue_y.append(reduced_X[i][1])

 else:

 green_x.append(reduced_X[i][0])

 green_y.append(reduced_X[i][1])

 

plt.scatter(red_x, red_y, c='r', marker='x')

plt.scatter(blue_x, blue_y, c='b', marker='D')

plt.scatter(green_x, green_y, c='g', marker='.')

plt.show()

https://www.toutiao.com/a6730142774420570635/

ITPub博客

无监督学习之降维

最新文章