这是一份动手学深度学习笔记！（附学习资料）

如果你正在学习深度学习，肯定听说过李沐老师的动手学深度学习，这是公认的经典之作

这一期主要是给大家总结这个教程的大纲内容

并给大家分享电子pdf、完整的教程视频、配套的课件源码以及学习笔记（如下图）

需要的兄弟可以按照这个图的方式免费获取

第一章：引言和预备知识

机器学习研究计算机系统如何利用经验（通常是数据）来提高特定任务的性能。它结合了统计学、数据挖掘和优化的思想。通常，它是被用作实现人工智能解决方案的一种手段，深度学习不仅取代了传统机器学习的浅层模型，而且取代了劳动密集型的特征工程

第二章：线性神经网络

这一部分先介绍线性回归模型，线性回归是比较简单的线性模型，用pytorch直接手搓线性回归模型，然后介绍softmax回归函数，应用于图像分类数据集，最后从零开始手搓softmax回归

第三章：多层感知机

这一部分先介绍多层感知机的原理，以及从零开始实现多层感知机，然后介绍模型选择，欠拟合和过拟合的问题，权重衰减和dropout的技巧，前向传播，反向传播和计算图模型，介绍一些数值稳定性，模型初始化，分布偏移，最后以kaggle比赛预测房价收尾

第四章：深度学习计算

这一部分先介绍神经网络的层和块，然后介绍参数管理，比如参数访问，参数初始化，参数绑定，然后介绍延后初始化，自定义参数/不带参数的网络层，读写文件，最后是张量与GPU，神经网络与GPU的介绍

第五章：卷积神经网络

这一部分先介绍卷积神经网络的结构，从全连接层到卷积，图像卷积，介绍填充和步幅，然后介绍多输入多输出通道，汇聚层，然后介绍现在常见的CNN的变体，比如VGG, GoogLeNet, ResNet, DenseNet等

第六章：循环神经网络

这一部分先介绍时间序列模型，然后是文本预处理，从零开始实现循环神经网络，然后介绍循环神经网络的变体，包括LSTM和GRU模型，双向循环神经网络，编解码器结构，序列到序列模型等

第七章：注意力机制

这一部分先介绍注意力的概念，注意力机制是深度学习中一个重要创新，这里的注意力机制包括Bahdanau注意力，多头注意力，以及自注意力，在transformer模型中引入了自注意力，交叉注意力和位置编码，引入注意力会增加计算量，但往往都有精度提升

第八章：优化算法

这一部分先介绍优化和深度学习，其次介绍凸函数，梯度下降算法，随机梯度下降，小批量随机梯度下降，动量法，AdaGrad算法，RMSProp算法，Adam优化器等

第九章：计算性能

这一部分先介绍编译器和解释器的概念，异步计算，自动并行，以及相应的硬件的支持，多GPU卡的训练，多GPU的简洁实现，参数服务器等内容

第十章：计算机视觉

这一部分先介绍计算机视觉中的图像增广，模型微调，目标检测和边界框，以及多尺度目标检测算法，目标检测的数据集，单发多框检测SSD，语义分割和数据集，全卷积神经网络，最后介绍kaggle比赛图像分类和狗的品种识别任务

第十一章：自然语言处理

这一部分先介绍词嵌入，预训练模型word2vec, 全局向量的词嵌入Glove，词的相似性和类比任务，以及Bert模型，预训练Bert, 然后介绍情感分析及数据集，使用循环神经网络和卷积神经网络做情感分析，使用注意力做自然语言推断，最后是微调Bert模型的任务