当前位置：首页 > news >正文

9.2 降维技术对比：PCA、LDA、t-SNE、UMAP与自编码器

news 2026/6/28 15:19:51

9.2 降维技术对比：PCA、LDA、t-SNE、UMAP与自编码器

降维是机器学习与数据科学中的一项核心技术，旨在将高维数据映射到低维空间，同时尽可能保留数据的关键信息。其动机在于缓解“维数灾难”、去除噪声与冗余、实现数据可视化，并为后续的建模任务提升计算效率与模型性能。降维方法根据是否利用标签信息可分为无监督与有监督；根据映射函数是否为线性可分为线性与非线性。本节将系统阐述并对比五种代表性降维技术：经典的线性无监督方法主成分分析、线性有监督方法线性判别分析、现代非线性流形学习方法t-SNE与UMAP，以及基于深度学习的非线性方法自编码器。

9.2.1 主成分分析

主成分分析（PCA）是最经典、应用最广泛的无监督线性降维方法。其核心思想是通过正交变换，将一组可能存在相关性的变量转换为一组线性不相关的变量（即主成分），其中第一个主成分具有最大的方差，后续每个成分在与其前序成分正交的条件下，方差依次递减[1]。

9.2.1.1 最大方差形式化与求解

给定中心化后的数据矩阵X∈Rn×d\mathbf{X} \in \mathbb{R}^{n \times d}X∈Rn×d（nnn个样本，ddd个特征，且列均值为零），PCA寻找一个投影方向w1\mathbf{w}_1w1（单位向量），使得投影后数据的方差最大化：
max⁡∥w1∥=11n∥Xw1∥2=w1TΣw1 \max_{\|\mathbf{w}_1\|=1} \frac{1}{n} \|\mathbf{X}\mathbf{w}_1\|^2 = \mathbf{w}_1^T \mathbf{\Sigma} \mathbf{w}_1∥w1∥=1maxn1∥Xw1∥2=w1TΣw1
其中Σ=1nXTX\mathbf{\Sigma} = \frac{1}{n}\mathbf{X}^T\mathbf{X}Σ=n1XTX是样本协方差矩阵。这是一个瑞利商问题，最优解w1\mathbf{w}_1w1是Σ\mathbf{\Sigma}Σ的最大特征值对应的特征向量。第二主成分方向w2\mathbf{w}_2w2在满足与w1\mathbf{w}_1w1正交的条件下，最大化剩余方差，即Σ\mathbf{\Sigma}Σ的第二大特征值对应的特征向量，以此类推。

因此，PCA的解可以通过对Σ\mathbf{\Sigma}Σ（或等价地对XTX\mathbf{X}^T\mathbf{X}XTX）进行特征值分解获得。降维后的kkk维（k<dk < dk<d）表示为：
Z=XWk \mathbf{Z} = \mathbf{X} \mathbf{W}_kZ=XWk
其中Wk∈Rd×k\mathbf{W}_k \in \mathbb{R}^{d \times k}Wk∈Rd×k的列由前kkk个最大特征值对应的特征向量构成。

9.2.1.2 最小重构误差视角与应用

PCA等价于寻找一个kkk维子空间，使得数据点到该子空间的投影的重构误差（原始数据与重构数据之间的均方距离）最小。重构公式为X^=ZWkT\hat{\mathbf{X}} = \mathbf{Z} \mathbf{W}_k^TX^=ZWkT。

PCA的关键特性包括：1) 各主成分互不相关；2) 保留了数据中的全局方差结构；3) 对数据的尺度敏感，通常需先进行标准化。其应用广泛，包括数据压缩、去噪、可视化以及作为其他机器学习模型（如分类、回归）的预处理步骤。选择主成分数量kkk时，可依据累计方差贡献率（如保留95%的方差）或观察特征值大小的“拐点”。