梯度下降理解

用经典的爬山和山谷的例子来近似

• 损失函数：就是我们要最小化的函数f(x)，可以理解成你在山谷里的高度，我们要走到高度最低的地方。
• 梯度：函数在某点的导数 / 斜率，告诉你往哪个方向走是上坡、哪个方向是下坡。
• 参数：就是我们要调整的变量a，可以理解成你在山谷里的位置。

梯度告诉我们函数增大最快的方向，学习率控制想着增大方向迈的步子。

梯度下降往往伴随着反向传播，目的是使得损失函数的指达到最小。对于神经网络类的问题，首先是前向传播拿到预测值，然后再算出损失函数，之后反向传播，这个过程中朝着梯度的反方向对参数进行修正。使用到了链式求导法则，求偏导。