数学建模竞赛必备：5种数据清洗实战技巧（附Python代码示例）

数学建模竞赛必备：5种数据清洗实战技巧（附Python代码示例）

数学建模竞赛中，数据预处理往往是决定成败的关键第一步。我曾担任过多次数学建模竞赛的评委，见过太多优秀模型因为前期数据清洗不到位而功亏一篑。特别是对于编程基础较弱的参赛选手，如何在有限时间内高效完成数据清洗，直接关系到后续建模的准确性和效率。本文将分享5种经过实战检验的数据清洗技巧，每种方法都配有可直接复用的Python代码，帮助你在竞赛中快速解决数据质量问题。

1. 缺失值处理的三种智能策略

面对数据中的缺失值，很多参赛者第一反应是直接删除，这其实是最糟糕的选择之一。在真实竞赛场景中，我们需要更智能的填补策略。

1.1 基于统计特征的快速填补

对于数值型特征，Pandas提供了非常便捷的填补方法。但要注意不同分布特征应选择不同的统计量：

import pandas as pd import numpy as np # 模拟含缺失值的数据 data = {'A': [1, 2, np.nan, 4, 5], 'B': [np.nan, 2, 3, np.nan, 5]} df = pd.DataFrame(data) # 正态分布用均值填补 df['A'].fillna(df['A'].mean(), inplace=True) # 偏态分布用中位数填补 df['B'].fillna(df['B'].median(), inplace=True)

提示：填补前先用df.describe()查看数据分布，偏度(skewness)大于1考虑使用中位数

1.2 基于机器学习的预测填补

当缺失值存在明显模式时，可以使用随机森林等算法预测缺失值：

from sklearn.ensemble import RandomForestRegressor def predict_missing(df, target_col): # 分离有缺失和无缺失样本 known = df[df[target_col].notnull()] unknown = df[df[target_col].isnull()] # 训练预测模型 X_train = known.drop(target_col, axis=1) y_train = known[target_col] model = RandomForestRegressor() model.fit(X_train, y_train) # 预测缺失值 predicted = model.predict(unknown.drop(target_col, axis=1)) df.loc[df[target_col].isnull(), target_col] = predicted return df

1.3 时间序列数据的特殊处理

对于时间序列数据，推荐使用前后相邻值填补：

# 前向填补 df.fillna(method='ffill', inplace=True) # 后向填补 df.fillna(method='bfill', inplace=True)

2. 异常值检测的多维度方法

异常值处理不当会导致模型严重偏离，但传统3σ原则在竞赛数据中往往失效。我们需要更鲁棒的检测方法。

2.1 基于IQR的改进方法

传统IQR方法可以通过调整系数适应不同场景：

def detect_outliers_iqr(df, factor=1.5): Q1 = df.quantile(0.25) Q3 = df.quantile(0.75) IQR = Q3 - Q1 lower_bound = Q1 - factor*IQR upper_bound = Q3 + factor*IQR return (df < lower_bound) | (df > upper_bound)

注意：对于小样本数据，建议将factor调整为2.0-3.0

2.2 局部离群因子(LOF)算法

对于多维数据，LOF算法能有效识别局部密度异常的离群点：

from sklearn.neighbors import LocalOutlierFactor lof = LocalOutlierFactor(n_neighbors=20, contamination=0.1) outliers = lof.fit_predict(X)

2.3 基于聚类的异常检测

DBSCAN聚类算法天然适合异常检测：

from sklearn.cluster import DBSCAN db = DBSCAN(eps=0.5, min_samples=10) clusters = db.fit_predict(X) outliers = clusters == -1 # -1表示噪声点(异常值)

3. 数据标准化的竞赛实践

不同算法对数据尺度敏感度不同，标准化方法需要根据模型特性选择。

3.1 常用标准化方法对比

3.2 动态标准化技巧

对于时间序列数据，建议使用滚动窗口标准化：

def rolling_standardize(series, window=30): rolling_mean = series.rolling(window=window).mean() rolling_std = series.rolling(window=window).std() return (series - rolling_mean) / rolling_std

4. 类别型特征的高效编码

数学建模竞赛中常遇到问卷数据等类别型特征，编码方式直接影响模型效果。

4.1 目标编码(Target Encoding)

比One-Hot更适合高基数类别特征：

def target_encode(df, cat_col, target_col, alpha=5): # 计算全局均值 global_mean = df[target_col].mean() # 计算每个类别的统计量 stats = df.groupby(cat_col)[target_col].agg(['count', 'mean']) # 计算平滑后的编码值 smooth = (stats['count']*stats['mean'] + alpha*global_mean) / (stats['count'] + alpha) # 替换原始类别 return df[cat_col].map(smooth)

4.2 频次编码实践

对于树模型，简单的频次编码往往效果惊人：

freq = df['category'].value_counts(normalize=True) df['category_freq'] = df['category'].map(freq)

5. 文本数据的快速清洗

当赛题涉及文本数据时，快速清洗能节省大量时间。

5.1 高效正则表达式模板

import re def clean_text(text): # 去除特殊字符但保留中文 text = re.sub(r'[^\w\u4e00-\u9fff]', ' ', text) # 合并连续空格 text = re.sub(r'\s+', ' ', text) # 去除前后空格 return text.strip()

5.2 中文停用词处理

使用自定义停用词表提升效果：

from sklearn.feature_extraction.text import CountVectorizer custom_stop_words = ['的', '了', '是', '我'] # 补充竞赛相关停用词 vectorizer = CountVectorizer(stop_words=custom_stop_words)

在实际竞赛中，我曾遇到一组选手通过组合使用Robust标准化和LOF异常检测，将预测准确率提升了27%。他们发现竞赛数据往往存在隐蔽的异常点，传统方法很难检测。数据清洗没有放之四海而皆准的方法，关键是根据数据特性灵活组合这些技巧。建议在竞赛开始时就建立数据质量检查清单，逐项验证处理效果。