当前位置：首页 > news >正文

机器学习进阶（14）：交叉验证

news 2026/8/4 18:12:28

第 14 篇：交叉验证到底在解决什么问题——为什么切一次验证集，有时还不够

前面我们已经讲过训练集、验证集、测试集，也多次提到过一个词：交叉验证。

很多人第一次接触交叉验证时，都会有点疑惑：

不是已经有训练集和验证集了吗？
为什么还要再搞一套验证方式？
难道一次划分还不够吗？

这个问题特别值得单独讲。
因为交叉验证看起来只是一个“技术细节”，但它解决的其实是一个非常现实的问题：

如果你只切一次验证集，你看到的结果，可能只是那一次切分碰巧的结果。

也就是说，模型好不好，有时候并不只取决于模型本身，还取决于你那次恰好怎么分了数据。

交叉验证，就是为了尽量减少这种偶然性。

1. 先想一个很真实的问题：你切的这次验证集，真的有代表性吗

假设你现在有一份不算特别大的数据集，1000 条样本。

你按 8:2 切分：

800 条做训练集
200 条做验证集

然后训练了一个模型，验证集准确率 88%。

这看上去没什么问题。
但你有没有想过：

这 200 条样本，恰好是你这次分到的。
如果换另一批 200 条来做验证，结果还会是 88% 吗？

不一定。

有些切分可能刚好验证集比较容易，结果就偏高。
有些切分可能刚好验证集比较难，结果就偏低。

尤其当数据量不大，或者样本分布本身不太均匀时，这种波动会更明显。

所以只切一次验证集，最大的问题不是“不能用”，而是：

结果可能不够稳。

2. 交叉验证，本质上是在重复做“轮流验证”

交叉验证最常见的一种形式，叫K 折交叉验证（K-Fold Cross Validation）。

它的做法很简单：

把数据分成 K 份
每次拿其中 1 份做验证集
剩下 K-1 份做训练集
这样轮流做 K 次
最后把 K 次结果取平均

比如 5 折交叉验证：

第 1 次：第 1 份做验证，其余做训练
第 2 次：第 2 份做验证，其余做训练
…
第 5 次：第 5 份做验证，其余做训练

这样每个样本都轮流当过一次验证样本，也都在其它轮次里当过训练样本。

所以交叉验证其实没有那么玄乎。
它做的事情就是：

不要只信一次切分，而是多换几次验证集，看看模型表现稳不稳。

3. 为什么这么做更可靠

如果你只切一次验证集，结果受那次切分影响很大。
但如果你切 5 次、10 次，再把结果平均一下，偶然性就会被削弱很多。

举个很直白的类比：

如果你只让一个学生做一套卷子，可能刚好那套题他擅长。
但如果你让他做 5 套不同的卷子，再看平均成绩，这个结果通常会更靠谱。

交叉验证就是这个思路。

它不追求“某一次分得特别漂亮”，而是更在意：

模型在不同切分下，整体表现是不是稳定。

4. 交叉验证特别适合什么情况

交叉验证最有价值的场景，通常有两个。

第一，数据量不大

如果数据本来就不多，你随便切一块出来做验证集，训练集就更少了。
这样会带来两个问题：

模型训练样本不够
验证结果也不稳定

交叉验证可以让数据被更充分地利用。
因为每个样本都不只是“永远待在训练集里”或者“永远待在验证集里”，而是轮流参与不同角色。

第二，你在做模型选择或调参

比如你在比较：

KNN 的 K 取多少更合适
随机森林是 100 棵树还是 300 棵树
SVM 的 C 和 gamma 怎么配

这时候如果只靠一次验证集，很容易因为那次切分的偶然性，选到一个“看起来好，其实不一定真稳”的参数组合。

交叉验证就能让这种选择更可靠一点。

5. K 折中的 K 怎么选

最常见的 K 值一般是：

5 折
10 折

为什么是这两个？
因为它们通常在“计算成本”和“结果稳定性”之间比较平衡。

5 折

训练 5 次，计算量适中，已经能显著减少偶然性。
很多场景下够用了。

10 折

比 5 折更稳一些，但计算也更慢一点。
在数据量不大、你又比较在意评估稳定性时，经常会用。

当然，K 也不是越大越好。
K 太大，比如接近留一法（每次只留一个样本做验证），计算量会明显上去，而且结果方差也不一定总是更理想。

所以大多数时候，5 或 10 已经很常见了。

6. 分层交叉验证，为什么分类任务里特别常用

如果你的任务是分类，而且类别分布不平衡，那普通 K 折有时还不够。

比如一份数据里：

90% 是负类
10% 是正类

如果你纯随机去分折，有可能某一折里正类特别少，甚至比例偏得厉害。
这会让每一折的验证结果波动很大。

这时候就经常用：

Stratified K-Fold（分层 K 折）

它的作用就是尽量保证：

每一折里的类别比例，都和整体数据差不多。

这样评估会稳很多。

所以在分类任务里，尤其是样本不平衡时，分层交叉验证比普通 K 折更常见。

7. 交叉验证到底是怎么配合调参一起用的

这也是很多人一开始会卡住的地方。

比如你想调随机森林的这些参数：

n_estimators
max_depth
min_samples_leaf

你当然可以：

试一组参数
看一次验证集结果
再试下一组

但更稳一点的做法是：

每一组参数，都跑一次交叉验证。

也就是说：

不是只看某一次切分下分数高不高
而是看这组参数在多次切分下平均表现怎么样

这样选出来的参数，一般会更靠谱。

这也是为什么GridSearchCV、RandomizedSearchCV这些工具内部，通常就是拿交叉验证来帮你比较参数。

8. 用代码看一个最基础的交叉验证例子

先看最简单的写法：

importnumpyasnpfromsklearn.model_selectionimportcross_val_scorefromsklearn.ensembleimportRandomForestClassifier X=np.array([[2,50],[3,55],[4,60],[5,65],[6,70],[7,75],[8,80],[9,85],[1,45],[10,90]])y=np.array([0,0,0,0,1,1,1,1,0,1])model=RandomForestClassifier(random_state=42)scores=cross_val_score(model,X,y,cv=5,scoring="accuracy")print("每折得分：",scores)print("平均得分：",scores.mean())

这段代码的意思就是：

把数据分成 5 折
每次轮流拿 1 折验证
算出 5 个准确率
最后取平均

这里最值得看的是：

不只是平均分
还要看每折分数波动大不大

如果平均分不错，但每折差异特别大，那说明模型不够稳定。

9. 再看一个交叉验证配合调参的例子

fromsklearn.model_selectionimportGridSearchCVfromsklearn.svmimportSVC param_grid={"C":[0.1,1,10],"gamma":[0.01,0.1,1],"kernel":["rbf"]}grid=GridSearchCV(estimator=SVC(),param_grid=param_grid,cv=5,scoring="accuracy")grid.fit(X,y)print("最优参数：",grid.best_params_)print("最佳交叉验证得分：",grid.best_score_)