回归问题中的特征选择方法与实战技巧

1. 回归问题中的特征选择基础

在机器学习项目中，数据准备环节往往占据整个流程70%以上的时间，而特征选择作为数据准备的核心步骤之一，直接影响着模型的性能和可解释性。对于回归问题而言，特征选择的目标是从众多输入变量中筛选出与目标变量最相关的特征子集。

为什么特征选择如此重要？想象你是一位厨师，面前摆着100种食材，但只有10种真正影响汤品的最终味道。特征选择就是帮你找出这10种关键食材的过程。它不仅能够：

• 减少过拟合风险（使用更少但更相关的特征）
• 提高模型训练速度（降低计算复杂度）
• 增强模型可解释性（聚焦关键影响因素）
• 改善模型性能（消除噪声特征的干扰）

在回归问题中，我们特别关注数值型输入与数值型目标之间的关系强度，因为这种关系可以通过统计方法量化。这与分类问题不同，分类问题通常关注类别间的区分度。

2. 数据集准备与探索

2.1 合成数据集的生成

我们使用scikit-learn的make_regression函数创建包含100个特征的合成数据集，其中特意设置了10个信息性特征和90个冗余特征：

from sklearn.datasets import make_regression from sklearn.model_selection import train_test_split # 生成包含100个特征的数据集，其中10个是真实相关特征 X, y = make_regression(n_samples=1000, n_features=100, n_informative=10, noise=0.1, random_state=1) # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=1)

这个数据集的特别之处在于：

• 样本量：1000条记录（足够进行有意义的分析）
• 特征维度：100维（高维特征空间）
• 信息性特征：10个（真正影响目标变量的特征）
• 噪声水平：0.1（模拟真实数据中的随机扰动）

2.2 数据分割策略

我们将数据按7:3比例分割为训练集和测试集：

• 训练集：670个样本（用于特征选择和模型训练）
• 测试集：330个样本（用于最终模型评估）

这种分割比例在机器学习中很常见，它既保证了足够的训练数据，又能进行可靠的性能评估。random_state参数的设置确保了实验的可重复性。

3. 特征选择方法详解

3.1 基于相关性的特征选择

Pearson相关系数是衡量线性关系最常用的指标，其值域为[-1,1]。对于特征选择，我们关注其绝对值大小：

from sklearn.feature_selection import SelectKBest, f_regression import matplotlib.pyplot as plt # 使用f_regression计算每个特征的相关性得分 fs = SelectKBest(score_func=f_regression, k='all') fs.fit(X_train, y_train) # 可视化特征得分 plt.figure(figsize=(12,6)) plt.bar(range(len(fs.scores_)), fs.scores_) plt.title("Feature Importance Scores (Correlation)") plt.xlabel("Feature Index") plt.ylabel("F-score") plt.show()

从得分图中可以明显看出，大约有8-10个特征的得分显著高于其他特征。这正是我们预设的10个信息性特征的反映。

注意：f_regression实际上计算的是每个特征与目标变量的F统计量，而不是直接的相关系数。F值越大，表明该特征与目标的线性关系越显著。

3.2 基于互信息的特征选择

互信息(Mutual Information)是衡量两个变量间统计依赖性的更通用指标，它不限于线性关系：

from sklearn.feature_selection import mutual_info_regression # 使用互信息进行特征评分 fs_mi = SelectKBest(score_func=mutual_info_regression, k='all') fs_mi.fit(X_train, y_train) # 可视化结果 plt.figure(figsize=(12,6)) plt.bar(range(len(fs_mi.scores_)), fs_mi.scores_) plt.title("Feature Importance Scores (Mutual Information)") plt.xlabel("Feature Index") plt.ylabel("MI Score") plt.show()

互信息方法的一个特点是它能发现非线性关系。在我们的实验中，它识别出了更多潜在相关的特征，这与数据集中添加的噪声有关。

4. 建模与特征选择效果验证

4.1 基线模型（使用全部特征）

首先建立使用全部100个特征的线性回归基准模型：

from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_absolute_error model = LinearRegression() model.fit(X_train, y_train) y_pred = model.predict(X_test) print(f"MAE (All Features): {mean_absolute_error(y_test, y_pred):.4f}")

典型输出结果：

MAE (All Features): 0.0862

这个MAE值将作为我们比较特征选择效果的基准。

4.2 基于相关性选择的模型

选择相关性最高的10个特征构建模型：

# 选择top 10相关性特征 fs_10 = SelectKBest(f_regression, k=10) X_train_10 = fs_10.fit_transform(X_train, y_train) X_test_10 = fs_10.transform(X_test) model_10 = LinearRegression() model_10.fit(X_train_10, y_train) y_pred_10 = model_10.predict(X_test_10) print(f"MAE (Top 10 Correlated Features): {mean_absolute_error(y_test, y_pred_10):.4f}")

结果可能会让你惊讶：

MAE (Top 10 Correlated Features): 2.7403

性能反而大幅下降！这说明：

1. 仅选择最相关的几个特征可能遗漏了其他重要特征
2. 高相关特征之间可能存在多重共线性
3. 线性模型需要一定数量的特征来捕捉完整关系

4.3 优化后的特征选择策略

更合理的做法是保留大部分特征，仅去除明显无关的特征。我们尝试保留88个特征：

# 选择top 88相关性特征 fs_88 = SelectKBest(f_regression, k=88) X_train_88 = fs_88.fit_transform(X_train, y_train) X_test_88 = fs_88.transform(X_test) model_88 = LinearRegression() model_88.fit(X_train_88, y_train) y_pred_88 = model_88.predict(X_test_88) print(f"MAE (Top 88 Correlated Features): {mean_absolute_error(y_test, y_pred_88):.4f}")

这次结果更理想：

MAE (Top 88 Correlated Features): 0.0854

4.4 互信息选择的对比实验

同样选择88个特征，但使用互信息作为选择标准：

fs_mi_88 = SelectKBest(mutual_info_regression, k=88) X_train_mi = fs_mi_88.fit_transform(X_train, y_train) X_test_mi = fs_mi_88.transform(X_test) model_mi = LinearRegression() model_mi.fit(X_train_mi, y_train) y_pred_mi = model_mi.predict(X_test_mi) print(f"MAE (Top 88 MI Features): {mean_absolute_error(y_test, y_pred_mi):.4f}")

典型结果：

MAE (Top 88 MI Features): 0.0851

5. 特征选择实践建议

5.1 方法选择指南

5.2 特征数量确定策略

1. 排序法：按重要性得分排序，观察"拐点"确定阈值
2. 网格搜索：尝试不同k值，选择验证集性能最好的
3. 累积贡献法：保留累计贡献达到一定比例的特征

# 网格搜索示例 from sklearn.pipeline import Pipeline from sklearn.model_selection import GridSearchCV pipe = Pipeline([ ('selector', SelectKBest(f_regression)), ('model', LinearRegression()) ]) param_grid = {'selector__k': [80, 85, 88, 90, 95]} search = GridSearchCV(pipe, param_grid, cv=5, scoring='neg_mean_absolute_error') search.fit(X_train, y_train) print(f"Best k: {search.best_params_['selector__k']}") print(f"Best MAE: {-search.best_score_:.4f}")

5.3 实际项目中的注意事项

1. 领域知识优先：统计方法只是工具，要结合业务理解
2. 稳定性检查：通过数据扰动验证选择结果的稳定性
3. 迭代优化：特征选择应与模型选择协同进行
4. 防止数据泄露：特征选择必须在训练集上进行

6. 高级技巧与扩展

6.1 嵌入式特征选择

某些模型内置了特征选择机制，如Lasso回归：

from sklearn.linear_model import LassoCV lasso = LassoCV(cv=5, random_state=1) lasso.fit(X_train, y_train) print(f"Selected {sum(lasso.coef_ != 0)} features")

6.2 特征重要性可视化

对于树模型，可以直观查看特征重要性：

from sklearn.ensemble import RandomForestRegressor rf = RandomForestRegressor(n_estimators=100, random_state=1) rf.fit(X_train, y_train) plt.figure(figsize=(12,6)) plt.bar(range(100), rf.feature_importances_) plt.title("Random Forest Feature Importance") plt.show()

6.3 自动化特征选择工具

使用Feature-engine等高级库：

from feature_engine.selection import ( DropConstantFeatures, DropDuplicateFeatures, SmartCorrelatedSelection ) selector = Pipeline([ ('constant', DropConstantFeatures(tol=0.98)), ('duplicate', DropDuplicateFeatures()), ('correlated', SmartCorrelatedSelection(threshold=0.9)) ]) X_train_sel = selector.fit_transform(X_train)

7. 常见问题与解决方案

7.1 问题排查表

7.2 实用调试技巧

1. 特征选择一致性检查：

# 多次数据分割验证选择稳定性 from sklearn.model_selection import KFold kf = KFold(n_splits=5) selected_features = [] for train_idx, _ in kf.split(X): fs = SelectKBest(f_regression, k=10) fs.fit(X[train_idx], y[train_idx]) selected_features.append(set(np.where(fs.get_support())[0])) # 查看各特征被选中的频率

2. 特征交互作用检测：

from sklearn.preprocessing import PolynomialFeatures from itertools import combinations # 生成二阶交互特征 poly = PolynomialFeatures(degree=2, interaction_only=True, include_bias=False) X_interact = poly.fit_transform(X) # 检查重要交互项

3. 特征选择流水线优化：

from sklearn.pipeline import make_pipeline from sklearn.feature_selection import RFE from sklearn.linear_model import Lasso # 递归特征消除 selector = RFE(estimator=Lasso(), n_features_to_select=20, step=5) model = make_pipeline(selector, LinearRegression()) model.fit(X_train, y_train)

8. 项目实战建议

在实际项目中应用特征选择时，我建议采用以下工作流程：

1. 初步筛选：使用快速过滤方法（如方差阈值）去除明显无关特征
2. 多方法并行：同时运行相关性、互信息等不同选择方法
3. 结果整合：对各方法结果取交集或投票
4. 模型验证：在验证集上测试不同特征子集的效果
5. 迭代优化：根据模型表现调整选择参数

一个典型的端到端实现示例：

from sklearn.feature_selection import ( VarianceThreshold, SelectFromModel, SelectKBest, RFE ) from sklearn.ensemble import VotingRegressor from sklearn.pipeline import FeatureUnion # 第一轮：基本过滤 pre_selector = VarianceThreshold(threshold=0.01) # 第二轮：多策略并行 union = FeatureUnion([ ('corr', SelectKBest(f_regression, k=80)), ('mi', SelectKBest(mutual_info_regression, k=80)), ('model', SelectFromModel(LassoCV())) ]) # 最终模型 final_model = Pipeline([ ('pre_select', pre_selector), ('feature_union', union), ('rfe', RFE(estimator=LinearRegression(), n_features_to_select=50)), ('regressor', VotingRegressor([ ('linear', LinearRegression()), ('lasso', Lasso()), ('ridge', Ridge()) ])) ]) final_model.fit(X_train, y_train)

记住，没有放之四海而皆准的最佳特征选择方法。在实际项目中，需要根据数据特点、业务需求和计算资源，灵活选择和组合不同的技术手段。特征选择既是科学也是艺术，需要不断的实验和调优才能获得理想的结果。