9.3 密度估计方法：核密度估计与混合模型码器
9.3 密度估计方法：核密度估计与混合模型
密度估计是统计学与机器学习中的基本问题，其目标是从一组有限的观测样本D={ x1,x2,...,xn},xi∈RdD = \{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\}, \mathbf{x}_i \in \mathbb{R}^dD={x1,x2,...,xn},xi∈Rd出发，推断出生成这些样本的未知概率密度函数p(x)p(\mathbf{x})p(x)。准确的密度估计对于异常检测、生成模型、分类任务中的似然计算以及数据可视化至关重要。根据对潜在分布形式的假设不同，密度估计方法主要分为非参数方法与参数方法。本节将深入探讨两种代表性技术：不预设具体分布形式的非参数方法核密度估计，以及通过有限个简单分布加权和来逼近复杂分布的参数方法混合模型。
9.3.1 密度估计问题基础
给定独立同分布的nnn个样本，密度估计的目标是构造一个估计量p^(x)\hat{p}(\mathbf{x})p^(x)以近似真实但未知的密度p(x)p(\mathbf{x})p(x)。评估估计量质量的常用标准是积分均方误差：
MISE(p^)=E[∫(p^(x)−p(x))2dx] \text{MISE}(\hat{p}) = \mathbb{E} \left[ \int (\hat{p}(\mathbf{x}) - p(\mathbf{x}))^2 d\mathbf{x} \right]MISE(p^)=E[∫(p^(x)−p(x))2dx]
该误差可分解为偏差平方与方差之和，反映了估计的准确性与稳定性之间的权衡。非参数方法通过使用所有数据点来灵活地塑造估计曲线，但需谨慎控制平滑程度以避免过拟合（高方差）或欠拟合（高偏差）。
9.3.2 核密度估计
核密度估计是一种经典的非参数密度估计方法。它不假设数据服从某个特定参数分布，而是通过在每个数据点位置放置一个“核函数”，并将所有核函数叠加平均来获得对整体分布的平滑估计[1]。
9.3.2.1 基本原理与定义
对于一维数据，KDE 的估计形式为：
p^h(x)=1n∑i=1nKh(x−xi)=1nh∑i=1nK(x−xih) \hat{p}_h(x) = \frac{1}{n} \sum_{i=1}^{n} K_h(x - x_i) = \frac{1}{nh} \sum_{i=1}^{n} K\left(\frac{x - x_i}{h}\right)p^h(x)=n1i=1∑nKh(x−xi)=nh1i=1∑nK(hx−xi)
其中：
- K(⋅)K(\cdot)K(⋅)是核函数，通常是一个对称的、非负的、积分为1的概率密度函数（如高斯核、Epanechnikov核）。
- h>0h > 0h>0称为带宽，是控制平滑程度的关键超参数。hhh越大，估计曲线越平滑（偏差增大，方差减小）；hhh越小，估计曲线越崎岖，越接近仅在各数据点处有值的离散分布（偏差减小，方差增大）。
对于ddd维数据，若假设各维度独立并使用相同的带宽hhh和核函数，则多元 KDE 为：
p^h(x)=1nhd∑i=1nK(∥x−xi∥h) \hat{p}_h(\mathbf{x}) = \frac{1}{n h^d} \sum_{i=1}^{n} K\left(\frac{\|\mathbf{x} - \mathbf{x}_i\|}{h}\right)p^h(x)=nhd1i=1∑nK(h∥x−xi</