8.1 线性模型扩展：多项式回归、岭回归与LASSO回归

8.1 线性模型扩展：多项式回归、岭回归与LASSO回归

线性模型以其形式简洁、可解释性强和计算高效的特点，构成了监督学习的基础。然而，标准的线性回归在面对非线性关系、多重共线性或高维特征时存在明显局限。本节将系统阐述三种关键的线性模型扩展方法：通过特征工程引入非线性表达能力的多项式回归，以及通过引入正则化项以应对过拟合和多重共线性问题的岭回归与LASSO回归。这些扩展在保持线性模型核心框架的同时，极大地提升了其解决实际复杂问题的能力。

8.1.1 多项式回归：引入非线性特征映射

标准线性回归模型假设响应变量y yy与特征变量x = ( x 1 , x 2 , . . . , x d ) T \mathbf{x} = (x_1, x_2, ..., x_d)^Tx=(x1​,x2​,...,xd​)T之间存在线性关系：y = w T x + b + ϵ y = \mathbf{w}^T \mathbf{x} + b + \epsilony=wTx+b+ϵ。当真实关系为非线性时，该模型将出现系统性偏差，导致欠拟合。

多项式回归通过特征工程扩展线性模型。其核心思想是将原始特征的幂次项和交互项作为新特征，构建一个在原始特征空间上是非线性，但在变换后的特征空间上仍是线性的模型。对于一个单变量特征x xx的p pp阶多项式回归模型形式如下：
y = w 0 + w 1 x + w 2 x 2 + . . . + w p x p + ϵ y = w_0 + w_1 x + w_2 x^2 + ... + w_p x^p + \epsilony=w0​+w1​x+w2​x2+...+wp​xp+ϵ
其中，w 0 , w 1 , . . . , w p w_0, w_1, ..., w_pw0​,w1​,...,wp​为模型参数。通过定义新的特征向量ϕ ( x ) = [ 1 , x , x 2 , . . . , x p ] T \phi(x) = [1, x, x^2, ..., x^p]^Tϕ(x)=[1,x,x2,...,xp]T，模型可重写为线性形式：y = w T ϕ ( x ) + ϵ y = \mathbf{w}^T \phi(x) + \epsilony=