总梯度是各样本梯度的线性叠加

设总损失函数J(w)J(w)J(w)为数据集中NNN个独立样本的损失函数Li(w)L_i(w)Li​(w)之和，即J(w)=∑i=1NLi(w)J(w) = \sum\limits_{i=1}^{N} L_i(w)J(w)=i=1∑N​Li​(w)。若每个样本的损失函数Li(w)L_i(w)Li​(w)关于模型参数www均可导，则总损失函数J(w)J(w)J(w)关于参数www的导数（或梯度），等于各个样本损失函数Li(w)L_i(w)Li​(w)关于参数www的导数（或梯度）之和。

用数学公式表示即为：
∂J(w)∂w=∂∂w(∑i=1NLi(w))=∑i=1N∂Li(w)∂w\frac{\partial J(w)}{\partial w} = \frac{\partial}{\partial w} \left( \sum\limits_{i=1}^{N} L_i(w) \right) = \sum\limits_{i=1}^{N} \frac{\partial L_i(w)}{\partial w}∂w∂J(w)​=∂w∂​(i=1∑N​Li​(w))=i=1∑N​∂w∂Li​(w)​

证明

这个结论的证明依赖于微积分中两个最基础的求导法则：求和法则与链式法则。

在机器学习中，总损失函数JJJ通常是所有NNN个样本的损失LiL_iLi​的平均值或总和，即

J(w)=1N∑i=1NLi(w)J(w) = \frac{1}{N} \sum\limits_{i=1}^{N} L_i(w)J(w)=N1​i=1∑N​Li​(w)
其中，LiL_iLi​是第iii个样本的损失，它依赖于模型的预测值，而预测值又依赖于参数www。

2. 对参数www求导
   对总损失JJJ关于参数www求偏导数：
   ∂J∂w=∂∂w(1N∑i=1NLi)\frac{\partial J}{\partial w} = \frac{\partial}{\partial w} \left( \frac{1}{N} \sum\limits_{i=1}^{N} L_i \right)∂w∂J​=∂w∂​(N1​i=1∑N​Li​)

3. 运用求和法则
   根据微积分的求和法则（和的导数等于导数的和），以及常数因子可以提取到导数外面的性质，可以把求导符号放进求和符号里面：
   ∂J(w)∂w=1N∑i=1N∂Li(w)∂w\frac{\partial J(w)}{\partial w} = \frac{1}{N} \sum\limits_{i=1}^{N} \frac{\partial L_i(w)}{\partial w}∂w∂J(w)​=N1​i=1∑N​∂w∂Li​(w)​

4. 结论
   观察上面的等式，右边∑i=1N∂Li∂w\sum\limits_{i=1}^{N} \dfrac{\partial L_i}{\partial w}i=1∑N​∂w∂Li​​正是各个样本损失对参数的导数之和。

这个数学性质是批量梯度下降（Batch Gradient Descent）和小批量随机梯度下降（Mini-batch SGD）能够成立的基石。

• 并行计算的基础：因为它证明了总梯度可以拆分成独立的部分，所以可以把数据分成一个个 Batch，分别计算每个 Batch 的梯度，最后把它们加起来（或取平均），就能得到全量数据的真实梯度。

补充说明

• 适用前提：该性质成立的核心前提是各个样本的损失LiL_iLi​之间是相互独立的，并且都是关于参数www的可导函数。