后面的每个主成分也会尽量多的保留剩下的变量，唯一的要求就是每一个主成分需要和前面的主成分正交。 现在假设数据集是三维的，散点图看起来像是沿着一个轴旋转的圆盘。
这些点可以通过旋转和变换使圆盘完全变成二维的。现在这些点看着像一个椭圆，第三维上基本没有变量，可以被忽略。 当数据集不同维度上的方差分布不均匀的时候，PCA最有用。（如果是一个球壳形数据集，PCA不能有效的发挥作用，因为各个方向上的方差都相等；没有丢失大量的信息维度一个都不能忽略）。
▌PCA的计算步骤
理解PCA的重要基础概念有以下三个： 方差，协方差和协方差矩阵
方差（Variance）是度量一组数据的分散程度。方差是各个样本与样本均值的差的平方和的均值：
协方差（Covariance）是度量两个变量的变动的同步程度，也就是度量两个变量线性相关性程度。
如果两个变量的协方差为0，则统计学上认为二者线性无关。注意两个无关的变量并非完全独立，只是没有线性相关性而已。计算公式如下：
如果协方差大于0表示一个变量增大是另一个变量也会增大，即正相关，协方差小于0表示一个变量增大是另一个变量会减小，即负相关。
协方差矩阵（Covariance matrix）由数据集中两两变量的协方差组成。矩阵的第(i,j)(i,j)个元素是数据集中第ii和第jj个元素的协方差。例如，三维数据的协方差矩阵如下所示：
