结构化机器学习项目 第一周：机器学习策略（二）数据集设置

本周为第三课的第一周内容，本周的内容关于在实际项目进行中的一些基本策略，并不涉及技术性的知识。

经过整个第一课和第二课后， 我们已经了解了足够支持我们构建一个完整的基础神经网络项目的知识和技术，本周便是在这些基础上的一个指导策略，可以帮助实现更好确定项目方向，优化和评估模型性能。

只要对前面两课涉及的技术原理足够了解，可以说，本周的内容不存在理解上的难度。

本篇的内容关于数据集设置，有很大一部分内容在之前已经提到过，所以篇幅会较短一些，并且我会在重复的部分进行标注。

1. 数据集划分经验（重复）

实际上，在之前的偏差与方差部分我们已经了解过这方面的内容，只是在本周的范畴里，课程中再次强调了这一段，为了每一篇的逻辑完整一些，我们也简单重复一下，就不占用太多篇幅了。

image.png

2.确保测试集和训练集来自同一分布（重复）

20251125193554859

3.何时更改验证集和指标？

这部分是这几节课程里新补充的内容，课程里把验证集，测试集和指标的设置比作画靶子，也就是任务的目标。

简单举个例子，就像上面说的，如果我们使用类似用户上传的模糊照作为验证集，以此不断调优拟合，那说明我们的目标就是实现用户上传的模糊图像的正确分类。

再比如，如果是某种要求分辨可疑人员的模型，在上一篇提及的评估指标中，如果使用单一评估指标，那么我们其实更倾向于使用召回率，因为这个任务的性质更偏向于”宁杀错，不放过”。

现在，转换一下这个标题：何时更改验证集和指标？其实是在说：什么现象让我们发现自己的设置和目标不匹配？

这才是课程里讲述的内容，我们来展开课程里的一个例子（这部分弹幕骤增）：

image.png

因此，在这个例子中，真实应用发现指标的设置不能正确反应任务要求，因此，我们需要修改指标。

还有就是我们一直说的”高清猫“和”模糊猫”的问题，在那种情景下，真实应用发现验证集，测试集不能正确实现任务目标，因此，我们需要修改验证集和测试集。

这就是本篇的内容，几乎没有理解上的难度。下一篇就是本周内容的最后一篇，通过比较模型性能和人的表现讨论模型优化的方向和空间，也有一些新的概念。