7.5 偏差-方差分解与权衡：欠拟合与过拟合的系统分析

7.5 偏差-方差分解与权衡：欠拟合与过拟合的系统分析

机器学习模型在未知数据上的泛化误差是其核心性能的最终度量。理解这一误差的来源，并系统性地对其进行控制，是模型设计与优化的关键。偏差-方差分解为此提供了一个强大的理论框架，它将期望泛化误差清晰地分解为可解释的组成部分，从而将实践中观察到的欠拟合与过拟合现象置于严格的理论分析之下。本节将详细阐述这一分解的推导过程、各项成分的统计含义，并基于此框架讨论模型选择与正则化策略的本质。

7.5.1 问题定义：期望预测误差的分解

考虑一个回归问题。设数据由真实函数f ( x ) f(\mathbf{x})f(x)和加性随机噪声ϵ \epsilonϵ生成，其中ϵ \epsilonϵ服从零均值、方差为σ 2 \sigma^2σ2的分布，即y = f ( x ) + ϵ y = f(\mathbf{x}) + \epsilony=f(x)+ϵ，且E [ ϵ ] = 0 \mathbb{E}[\epsilon] = 0E[ϵ]=0，Var ( ϵ ) = σ 2 \text{Var}(\epsilon) = \sigma^2Var(ϵ)=σ2。

给定一个从数据D DD中学习得到的模型f ^ D ( x ) \hat{f}_D(\mathbf{x})f^​D​(x)，其在某一固定输入点x \mathbf{x}x处的期望预测误差（或称期望测试误差）可以分解为偏差、方差和不可约噪声三部分。这里期望是对所有可能的数据集D DD（来自同一数据生成分布）以及噪声ϵ \epsilonϵ取的。

以平方损失为例，在x \mathbf{x}x点的期望预测误差为：
Err ( x ) = E D , ϵ [ ( y − f ^ D ( x ) ) 2 ] = E D , ϵ [ ( f ( x ) + ϵ − f ^ D ( x ) ) 2 ] \begin{aligned} \text{Err}(\mathbf{x}) &= \mathbb{E}_{D, \epsilon} \left[ (y - \hat{f}_D(\mathbf{x}))^2 \right] \\ &= \mathbb{E}_{D, \epsilon} \left[ (f(\mathbf{x}) + \epsilon - \hat{f}_D(\mathbf{x}))^2 \right] \end{aligned}Err(x)​=ED,ϵ​