CS231n实战解析：从零构建全连接网络与优化器调优

1. 全连接网络基础与CS231n作业解析

第一次接触全连接网络时，我被它的"全连接"特性震撼到了——每个神经元都与前一层的所有神经元相连，就像一张密不透风的网。在CS231n作业中构建FullyConnectedNet时，这种密集连接既带来了强大的表达能力，也埋下了梯度问题的隐患。

全连接层的数学本质是矩阵乘法。假设输入是3072维的CIFAR-10图像（32x32x3），第一个隐藏层有100个神经元，那么这个全连接层就需要3072x100=307,200个权重参数！我在实现时经常犯的一个错误是搞反矩阵维度顺序，导致维度不匹配。正确的初始化应该是：

W1 = np.random.normal(0, weight_scale, (input_dim, hidden_dims[0])) b1 = np.zeros(hidden_dims[0])

CS231n作业中一个精妙的设计是affine_relu_forward和affine_relu_backward的组合。前向传播时，affine变换后立即接ReLU激活：

out, cache = affine_forward(x, w, b) out, relu_cache = relu_forward(out)

反向传播时则需要严格逆序：

dx = relu_backward(dout, relu_cache) dx, dw, db = affine_backward(dx, fc_cache)

2. 梯度问题实战：消失与爆炸的较量

在调试五层网络时，我遇到了典型的梯度消失问题。当设置weight_scale=1e-5时，训练准确率卡在16%不动，就像汽车陷在泥潭里。通过打印各层梯度范数，发现从输出层往回，梯度以约0.1的比率衰减：

Layer5 grad norm: 3.21e-3 Layer4 grad norm: 2.87e-4 Layer3 grad norm: 1.15e-5 Layer2 grad norm: 4.62e-7

对比之下，当weight_scale=1e-2时又出现了梯度爆炸，梯度值超过1e30导致NaN。这就像调节音响音量 - 太小听不清，太大会爆音。经过多次实验，我总结出不同网络深度的黄金初始化区间：

3. 优化器实现细节与性能对比

实现SGD+Momentum时，velocity的初始化容易被忽略。我最初忘记在config中维护velocity状态，导致每次更新都从零开始，动量效果大打折扣。正确的做法应该是：

v = config.get('velocity', np.zeros_like(w)) # 保留历史速度 v = mu * v - learning_rate * dw next_w = w + v config['velocity'] = v # 更新状态

在CIFAR-10上对比四种优化器时，我发现一个有趣现象：当使用较大batch_size(1024)时，Adam的优势更明显。这是因为大批量训练的梯度估计更准确，配合自适应学习率能稳定收敛。实测结果对比如下：

Adam的优越性来自其"双缓存"设计：既像Momentum那样跟踪梯度一阶矩（均值），又像RMSProp那样跟踪二阶矩（方差）。这就像赛车同时具备强劲引擎（一阶动量）和智能悬挂（二阶自适应），在各种地形都能平稳高速行驶。

4. 调参实战：从网格搜索到模型部署

在最终模型调参时，我开发了一套分层调参策略：

1. 初始化阶段：用50个样本的小数据集，固定learning_rate=1e-3，扫描weight_scale：

   for weight_scale in np.logspace(-5, -2, 20): model = FullyConnectedNet([100]*5, weight_scale=weight_scale) solver.train()

2. 架构验证：用完整训练集的10%（约5000样本），测试不同隐藏层配置：

   architectures = [ [100]*3, [200,100,50], [256,128,64,32] ]

3. 最终微调：全数据集上优化learning_rate和regularization_strength：

   for lr in [1e-4, 3e-4, 1e-3]: for reg in [0.01, 0.1, 1.0]: solver = Solver(model, data, optim_config={'learning_rate': lr}, reg=reg)

部署模型时，我养成了保存训练曲线的习惯。用Matplotlib同时绘制loss和accuracy曲线，能直观判断是否过拟合：

plt.subplot(2,1,1) plt.plot(solver.loss_history) plt.subplot(2,1,2) plt.plot(solver.train_acc_history, label='train') plt.plot(solver.val_acc_history, label='val')

最终我的五层网络在CIFAR-10上达到52.6%的测试准确率。虽然不如卷积神经网络，但这个过程让我深刻理解了深度学习的底层机制。记得在调试最困难的时候，我几乎要放弃，直到某次调整weight_scale后看到验证曲线突然上升——那一刻的喜悦，至今难忘。