rf 强化学习第五章 广义优势估计（GAE）部分（共五章）
回顾带baseline的REINFORCE算法中用到的动作优势部分为，其中Gt是真实采样轨迹，真实采样不会系统性的偏离期望值，但是单条轨迹的波动性很大，所以是高方差，低偏差的。
而Actor-Critic算法中用到的动作优势部分为，
，由于其中的状态价值函数来自于Critic网络对St和St+1的评估，而参数一开始是随机初始化的，所以可能有很大的偏差，但是随机性很小，所以是低方差，高偏差的。
广义优势估计（GAE）算法的核心思想就是在这两者之间找到一个平衡。
δt只有一步来自真实奖励值，所以叫做一步优势估计记作At1
=δt
有两步来自真实奖励值，叫做二步优势估计记作At2
=δt+γδt+1
有k步来自真实奖励值，叫做k步优势估计记作Atk
GAE将所有可能的Atk加权平均，
其中λ是0到1之间的超参数，我们想让所有的权重之和等于1
由于所有权重之和累加等于
，所以可以给每个权重乘以1-λ，从而所有权重和为1。
从而最终的GAE公式为
将代入GAE公式化简：
将每个δt+l的系数加和，得到对于任意δt+l的系数为
得到GAE公式为：
从而得到通用公式，使得每一步都可以利用前一步的计算结果
参考视频：
RethinkFun的个人空间-RethinkFun个人主页-哔哩哔哩视频