深度学习优化算法与实践

深度学习优化算法与实践

本学习路径涵盖了从优化基础理论到多种优化算法（包括梯度下降、随机梯度下降、动量法、AdaGrad、RMSProp、Adadelta、Adam及其改进版本Yogi）的深入讲解，并探讨了学习率调度策略在深度学习模型训练中的应用。

1. 深度学习中的优化算法与挑战
2. 凸性理论与应用
3. 梯度下降与优化算法
4. 随机梯度下降及其在深度学习中的应用
5. 小批量随机梯度下降及其优化策略
6. 动量法优化技术
7. AdaGrad算法与应用
8. RMSProp算法原理与应用
9. Adadelta算法深入解析与应用
10. Adam与Yogi优化算法详解
11. 深度学习优化：学习率调度器的应用与实践