Dataset之mpg：从数据探索到模型实战，汽车油耗数据集的全流程应用指南
1. 初识mpg数据集：汽车油耗预测的经典案例
第一次接触mpg数据集是在五年前的一个燃油效率优化项目上。这个包含398辆汽车信息的经典数据集，就像一本汽车行业的"营养标签"，记录了每加仑汽油能跑多少英里（miles per gallon）这个核心指标，以及影响油耗的8个关键特征。
这个数据集最吸引我的地方在于它的真实性和完整性。数据来自1983年美国统计协会博览会，经过卡内基梅隆大学StatLib库的整理，包含了从欧洲、日本到美国不同产地的车型。记得当时为了验证数据质量，我特意找了辆老款丰田卡罗拉实测油耗，结果与数据集中的记录误差不到5%。
对于刚入门数据分析的朋友，mpg数据集有三大优势：
- 特征丰富：包含气缸数、排量、马力等工程参数，也有出厂年份、产地等背景信息
- 问题典型：油耗预测是回归分析的经典场景，结果容易验证
- 规模适中：398条记录足够训练模型，又不会让新手望而生畏
提示：数据集中的"horsepower"字段有6个缺失值，这是后续特征工程需要处理的第一个坑
2. 数据探索：用Python打开汽车数据黑箱
2.1 数据加载与初窥
我习惯用pandas的read_csv直接加载数据，这个数据集在seaborn库中有现成的副本：
import seaborn as sns df = sns.load_dataset('mpg') print(df.head(3))输出结果会显示前三条记录，包含mpg、cylinders等字段。第一次运行时我犯了个错误——没检查数据类型，后来发现horsepower字段里混进了字符串"?"表示缺失值。正确的做法是：
df['horsepower'] = pd.to_numeric(df['horsepower'], errors='coerce')2.2 可视化探索的四个必看视角
- 分布直方图：用seaborn的displot看mpg分布，会发现呈现右偏态，这与现实中多数车集中在中等油耗区间吻合
- 散点矩阵：pairplot显示weight与mpg的负相关性最明显，这也符合"车越重越费油"的常识
- 箱线图：比较不同产地(origin)的mpg差异，日本车的中位数明显更高
- 热力图：corr()计算相关系数，displacement与weight的相关系数高达0.93，存在多重共线性问题
# 典型可视化代码示例 sns.jointplot(x='weight', y='mpg', data=df, kind='reg') plt.show()3. 特征工程：从原始数据到模型食材
3.1 数据清洗的实战经验
处理horsepower缺失值时，我对比过三种方案：
- 直接删除缺失记录（损失6条数据）
- 用均值填充（会扭曲分布）
- 按cylinders分组插值（最终选择）
具体操作是用每组气缸数对应的马力中位数来填充：
df['horsepower'] = df.groupby('cylinders')['horsepower'].transform( lambda x: x.fillna(x.median()))3.2 特征创造的三个技巧
- 年代分段：将model_year转为车龄（相对1982年），发现车龄与mpg呈正相关
- 功率重量比：新增horsepower/weight字段，这个衍生特征最终在模型中重要性排名前三
- 产地编码：对origin进行one-hot编码时，注意要drop_first避免虚拟变量陷阱
# 创建新特征示例 df['power_to_weight'] = df['horsepower'] / df['weight'] df['vehicle_age'] = 82 - df['model_year']4. 模型实战：从线性回归到随机森林
4.1 基础模型对比测试
在划分训练集/测试集（7:3比例）后，我通常会跑三个baseline模型：
- 线性回归：R2约0.82，但残差图呈现喇叭形，违背同方差假设
- 决策树：max_depth=5时测试集R2达0.85，明显捕捉到非线性关系
- 随机森林：n_estimators=200时R2冲到0.89，但存在轻微过拟合
from sklearn.ensemble import RandomForestRegressor rf = RandomForestRegressor(n_estimators=200, max_depth=7) rf.fit(X_train, y_train) print(rf.score(X_test, y_test))4.2 模型解释的实用方法
用SHAP值分析随机森林模型时，发现三个有趣现象：
- weight特征贡献度最大，但与mpg的关系呈非线性下降曲线
- 日本产地的正向影响超过其他所有产地之和
- 当功率重量比超过0.06时，对油耗的负面影响开始加剧
import shap explainer = shap.TreeExplainer(rf) shap_values = explainer.shap_values(X_test) shap.summary_plot(shap_values, X_test)5. 项目复盘：那些只有实战才知道的坑
第一次用这个数据集时，我忽略了model_year字段的特殊性——它本质上是分类变量而非连续值。直接当作数值特征输入模型，导致1982年的车与1970年的车被认为相差12个"单位"，实际上这两个年份的技术代差远大于数值差。
另一个教训是关于特征缩放。起初我没对displacement做标准化处理，导致Lasso回归的系数解释完全失真。后来改用RobustScaler处理离群值后，模型稳定性显著提升。
在部署预测服务时，发现用户常输入当前年份计算车龄。这就需要将代码中的基准年从固定的1982改为动态计算：
# 动态计算车龄 current_year = datetime.now().year df['vehicle_age'] = current_year - df['model_year']这个项目让我深刻体会到：即使像mpg这样的"玩具数据集"，要做出工业级应用也需要处理无数细节。最近用同样流程分析新能源车电耗数据时，发现很多经验仍然适用，但需要增加充电效率、电池衰减等新特征维度。