深度确定性策略梯度（DDPG）
摘要：深度确定性策略梯度(DDPG)是一种针对连续动作空间的强化学习算法，融合了Q学习和策略梯度方法。它采用演员-评论家架构，其中演员网络输出确定性动作，评论家网络评估动作价值。DDPG通过经验回放存储过往经验，利用目标网络实现稳定训练，并引入噪声促进探索。该算法适用于机器人控制等连续动作任务，但面临训练不稳定和探索不足的挑战。核心优势在于将深度Q网络扩展到连续动作空间，采用确定性策略而非随机策略。
目录
什么是深度确定性策略梯度？
DDPG 的核心概念
DDPG 中的 “确定性” 指什么？
DDPG 的核心组件
DDPG 的工作原理
1. 连续动作空间
2. 经验回放
3. 演员 - 评论家训练
4. 目标网络与软更新（Soft Updates）
5. 探索与利用（Exploration-Exploitation）
DDPG 面临的挑战
什么是深度确定性策略梯度？
深度确定性策略梯度（DDPG）是一种同时从 Q 函数和策略中学习的强化学习算法。它利用离线数据（off-policy data）和贝尔曼方程学习 Q 函数，进而通过该 Q 函数学习策略。
深度确定性策略梯度（DDPG）是为解决连续动作空间问题而设计的强化学习算法。该算法基于演员 - 评论家（actor-critic）架构，属于离线策略（off-policy）算法，同时融合了 Q 学习与策略梯度方法的特点。DDPG 是无模型（model-free）的离线策略算法，借助深度学习估计价值函数和策略，适用于机器人控制、自动驾驶等涉及连续动作的任务。
简而言之，它将深度 Q 网络（DQN）扩展到连续动作空间，采用确定性策略（deterministic policy），而非 DQN 或 REINFORCE 等算法中常用的随机策略（stochastic policies）。
DDPG 的核心概念
深度确定性策略梯度（DDPG）涉及的核心概念如下：
- 策略梯度定理（Policy Gradient Theorem）：DDPG 采用确定性策略梯度定理，该定理可计算期望回报相对于策略参数的梯度，并利用此梯度更新演员网络（actor network）。
- 离线策略（Off-Policy）：DDPG 是一种离线策略算法，意味着它从非当前优化的策略所产生的经验中学习。具体实现方式是将过往经验存储在回放缓冲区（replay buffer）中，并利用这些经验进行学习。
DDPG 中的 “确定性” 指什么？
确定性策略将状态映射到动作：当向该函数输入一个状态时，它会返回一个要执行的动作。相比之下，价值函数会为每个状态输出一个概率分布。确定性策略适用于确定性环境，在这类环境中，执行的动作直接决定结果。
DDPG 的核心组件
深度确定性策略梯度（DDPG）的核心组件如下：
- 演员 - 评论家架构（Actor-Critic Architecture）：演员（actor）即策略网络，接收状态作为输入并输出确定性动作；评论家（critic）是 Q 函数逼近器，用于计算动作价值函数 Q (s,a)，它将状态和动作同时作为输入，预测期望回报。
- 确定性策略（Deterministic Policy）：DDPG 采用确定性策略，而非 REINFORCE 等其他策略梯度方法中常用的随机策略。对于给定状态，演员网络仅输出一个动作，而非一系列动作。
- 经验回放（Experience Replay）：DDPG 使用经验回放缓冲区存储过往经验，经验以（状态、动作、奖励、下一状态）的元组形式存储。通过从缓冲区中选取小批次（mini-batches）数据进行训练，可打破连续经验之间的时间相关性，最终提升训练稳定性。
- 目标网络（Target Networks）：为确保学习过程的稳定性，DDPG 为演员和评论家分别配备了目标网络。这些目标网络是原始网络的更新版本，通过逐步优化降低训练过程中参数更新的波动性。
- 探索噪声（Exploration Noise）：由于 DDPG 是确定性策略梯度方法，其策略本质上具有贪心特性，无法充分探索环境。因此需要引入探索噪声以促进智能体对环境的探索。
DDPG 的工作原理
深度确定性策略梯度（DDPG）是一种专门适用于连续动作空间的强化学习算法，属于演员 - 评论家方法 —— 即通过两个模型协同工作：演员模型决定当前状态下应执行的动作，评论家模型评估所执行动作的有效性。其工作流程如下：
1. 连续动作空间
DDPG 在具有连续动作空间的环境中效果显著，例如控制汽车的速度和方向，这与游戏中的离散动作空间形成对比。
2. 经验回放
DDPG 通过经验回放机制工作：将智能体的经验存储在缓冲区中，并随机采样批次经验用于更新网络。经验元组表示为，其中：
：表示 t 时刻的状态；
：表示执行的动作；
：表示获得的奖励；
：表示动作执行后的新状态。
从回放缓冲区中随机选取经验，可减少连续事件之间的相关性，使训练更稳定。
3. 演员 - 评论家训练
- 评论家更新（Critic Update）：评论家的更新基于时序差分（Temporal Difference, TD）学习，尤其是 TD (0) 变体。评论家的核心任务是通过计算 Q 值评估演员的决策，Q 值用于预测特定状态 - 动作组合的未来奖励。此外，DDPG 中评论家的更新还包括最小化时序差分误差（即预测 Q 值与目标 Q 值之间的差值）。
- 演员更新（Actor Update）：演员的更新涉及修改演员神经网络以优化策略（即决策过程）。在更新过程中，首先计算 Q 值相对于动作的梯度，然后通过梯度上升（gradient ascent）调整演员网络，以提高选择高 Q 值动作的概率，最终实现策略优化。
4. 目标网络与软更新（Soft Updates）
DDPG 并未直接将学习网络的参数复制到目标网络，而是采用软更新方式：目标网络仅吸收学习网络的部分参数进行更新。更新公式为：θ′ ← τθ + (1 - τ)θ′其中，τ 是一个较小的值，用于确保目标网络的更新速度缓慢，从而提升训练稳定性。
5. 探索与利用（Exploration-Exploitation）
由于确定性策略在连续动作空间中可能陷入非最优解，DDPG 在动作中加入奥恩斯坦 - 乌伦贝克噪声（Ornstein-Uhlenbeck noise）以促进探索。这种噪声激励智能体更充分地探索环境。
DDPG 面临的挑战
DDPG 需要应对的两大主要挑战如下：
- 不稳定性（Instability）：DDPG 在训练过程中可能出现稳定性问题，尤其是在使用神经网络等函数逼近器时。尽管通过目标网络和经验回放机制可缓解这一问题，但仍需要精确调整超参数。
- 探索难题（Exploration）：即使使用奥恩斯坦 - 乌伦贝克噪声辅助探索，在极其复杂的环境中，若探索策略不够高效，DDPG 仍可能面临探索不充分的问题。