当前位置：首页 > news >正文

【MARL实战】当MADDPG遇见注意力：一种动态队友策略建模的实现与调优

news 2026/8/20 20:42:01

1. MADDPG与注意力机制的结合背景

多智能体强化学习（MARL）近年来在机器人协作、游戏AI等领域展现出巨大潜力。MADDPG作为经典算法，通过集中训练分散执行的框架解决了环境非稳态问题。但在实际项目中，我发现当智能体数量增多时，传统MADDPG会出现策略震荡和收敛困难。这促使我探索论文《Modelling the Dynamic Joint Policy of Teammates with Attention Multi-agent DDPG》提出的创新方案——将注意力机制融入critic网络。

理解这个方案需要掌握两个关键点：首先，MADDPG的核心思想是让每个智能体的critic网络能看到全局信息（所有智能体的状态和动作），而actor只能获取局部观察；其次，注意力机制的本质是通过Q、K、V的动态权重分配，让模型自动聚焦关键信息。论文的巧妙之处在于，它没有简单套用NLP中的注意力模块，而是重新设计了Q函数的计算方式。

2. 注意力机制在MADDPG中的实现原理

2.1 传统注意力机制回顾

标准的缩放点积注意力公式为：

Attention(Q, K, V) = softmax(QK^T/√d_k)V

在NLP场景中，Q代表当前词的特征向量，K是序列中所有词的键向量，V是值向量。这种机制能让模型动态关注与当前词最相关的上下文。

但在多智能体场景下，我们需要不同的设计。以3个智能体为例，每个智能体的状态维度为12，动作维度为1。论文将其他智能体的动作组合作为Q，所有智能体状态和当前智能体动作作为K。这种设计源于一个关键观察：智能体的动作价值不仅取决于自身行为，更受队友动作影响。

2.2 论文中的创新设计

作者提出了改进的Q函数定义：

Q = Σ[π_{-i}(a_{-i}|s) * Q_i(s,a_i,a_{-i})]

其中π_{-i}表示其他智能体的策略分布。这个公式的物理意义是：当前智能体的动作价值应该是所有可能队友动作组合的加权求和。

实现这个公式面临两大挑战：一是需要估计队友策略π_{-i}，二是要计算各种动作组合下的Q值。论文用注意力权重近似π_{-i}，用K-head网络估计不同动作组合的Q值。具体实现时，将K-head网络的输出作为"键"，队友动作特征作为"查询"，通过注意力权重实现动态加权。

3. 工程实现与代码解析

3.1 原始论文代码结构

论文提供的PyTorch实现包含两个核心类：

class Attention(nn.Module): def __init__(self, encoder_dim, decoder_dim, hidden_dim, head_count): self.fc_encoder = nn.Linear(encoder_dim, hidden_dim) self.fc_heads = nn.ModuleList([nn.Linear(hidden_dim, hidden_dim) for _ in range(head_count)]) self.fc_decoder = nn.Linear(decoder_dim, hidden_dim) def forward(self, encoder_input, decoder_input): # 实现注意力计算流程 ... class MLPNetworkWithAttention(nn.Module): def __init__(self, in_dim, out_dim): self.attention = Attention(...) self.fc_q = nn.Linear(hidden_dim, out_dim) def forward(self, x, agent_id, agents): # 处理输入数据并调用attention ...

在实际测试中，我发现原始实现存在三个问题：1) 隐层维度随智能体数量线性增长，容易过拟合；2) ReLU激活函数使用过多可能导致梯度消失；3) 计算复杂度较高影响训练速度。

3.2 改进版实现方案

针对上述问题，我的修改包括：

固定隐层维度不受智能体数量影响
减少不必要的ReLU层
简化网络结构

改进后的Attention类：

class ImprovedAttention(nn.Module): def __init__(self, hidden_dim, head_count): super().__init__() self.fc_k = nn.Linear(hidden_dim, hidden_dim*head_count) self.fc_q = nn.Linear(hidden_dim, hidden_dim) self.head_count = head_count def forward(self, encoder_input, decoder_input): # 更高效的计算方式 k = self.fc_k(encoder_input).view(-1, self.head_count, hidden_dim) q = self.fc_q(decoder_input).unsqueeze(1) weights = F.softmax(torch.sum(k*q, dim=-1)/√hidden_dim, dim=-1) return torch.sum(k * weights.unsqueeze(-1), dim=1)

在PettingZoo的simple_spread_v3环境中测试，改进版在5个智能体场景下训练速度提升约30%，但收敛效果与原始版本相当。这说明结构优化主要影响计算效率，而非算法本质性能。