从《炉石传说》到在线购物：AgentBench如何用游戏和网页任务‘拷问’大模型的真实智商？
当AI玩转《炉石传说》和网购：AgentBench如何用游戏化测试揭示大模型的真实智商？
想象一下，你正在教一个外星人玩《炉石传说》——它精通所有卡牌规则，却总在关键时刻做出匪夷所思的出牌选择；或者让它帮你网购一款蓝牙耳机，结果它反复对比的参数竟是包装盒颜色和快递员星座。这正是当前大语言模型（LLM）作为智能代理（Agent）面临的现实困境：它们拥有惊人的知识储备，却在需要多步推理、动态决策的实际任务中频频"翻车"。
1. 游戏场：AI的"智力体操馆"
1.1 数字卡牌中的战略盲区
Aquawar——这个简化版《炉石传说》的测试环境中，AI需要指挥不同特性的鱼类军团作战。人类玩家会自然形成的战术思维，对AI却是巨大挑战：
- 回合规划缺陷：AI常陷入"最优单步陷阱"，比如为追求当前回合最大伤害值，耗尽关键卡牌导致后续回合崩盘
- 概率误解：面对"60%概率造成双倍伤害"的卡牌效果，部分模型会出现反常识决策
- 记忆断层：在多轮对战中，模型可能"忘记"对手已暴露的关键卡牌信息
测试中发现一个典型案例：当AI持有能复活阵亡鱼类的"珊瑚祭司"卡牌时，竟优先保护攻击力最低的杂兵，而非具有战略价值的主力卡。
1.2 横向思维谜题的"思维窄化"
在解谜类测试中，模型展现出更明显的局限性。例如面对经典谜题：
"男子走进餐厅点了一份鳄鱼肉，吃了一口后冲出餐厅自杀。为什么？"主流模型的典型反应路径：
- 首先假设鳄鱼肉有毒（81%测试样本）
- 当被告知鳄鱼肉安全时，转向猜测男子有精神疾病（67%）
- 极少模型能联想到"男子曾是海难幸存者，曾被迫食用同伴（绰号鳄鱼）"的隐藏逻辑
这种表现揭示了当前LLMs在联想跳跃和情境重构能力上的瓶颈。
2. 网购实战：当AI遇上"选择困难症"
2.1 WebShop测试中的认知偏差
在模拟网购环境中，AI代理需要完成"购买适合程序员的机械键盘"这类任务。常见失败模式包括：
| 偏差类型 | 具体表现 | 出现频率 |
|---|---|---|
| 参数固化 | 过度关注RGB灯效而忽视轴体类型 | 42% |
| 场景失焦 | 推荐静音键盘给游戏玩家 | 33% |
| 评价误读 | 将"手感像巧克力"的比喻评价视为食品属性 | 25% |
2.2 多条件筛选的"组合爆炸"
当任务复杂度提升时，如"寻找支持Mac的87键热插拔键盘，预算500元内"，模型表现急剧下降：
# 理想决策流程 vs 实际观察到的AI流程 理想路径: 筛选接口类型 → 确认键位布局 → 检查热插拔功能 → 比价 实际路径: 随机选择Mac兼容产品 → 检查价格 → 忽略其他条件（62%测试案例）这种表现差距暴露出模型在多条件并行处理和属性优先级判断上的不足。
3. 家务挑战：常识推理的"阿喀琉斯之踵"
3.1 物理常识的缺失
"把刚煮好的汤锅放到木质餐桌上"这类任务中，高达78%的测试模型忽略了：
- 需要垫隔热垫的物理常识
- 汤锅把手朝向的安全考量
- 放置位置与用餐动线的关系
3.2 空间推理的局限性
当要求"将吸尘器收纳到已存放扫把的橱柜"时，模型常出现：
- 空间冲突忽略（43%）
- 工具取用顺序不合理（如建议先放吸尘器会挡住扫把）（37%）
- 完全虚构橱柜结构（20%）
4. 从测试到进化：AgentBench的启示录
4.1 商业模型与开源模型的差距图谱
测试揭示的差距不仅体现在总分上，更反映在能力维度上：
核心能力分化对比
| 能力维度 | 商业模型优势 | 开源模型短板 |
|---|---|---|
| 多轮对话维持 | 87%上下文保持率 | 平均52% |
| 动态策略调整 | 每任务3.2次策略修正 | 1.7次 |
| 模糊指令解析 | 78%准确率 | 41% |
4.2 突破路径的实战验证
某些创新方法显示出显著效果：
- 递归验证机制：让模型自行检查决策链的关键节点，错误率降低29%
- 人类反馈强化学习：在购物任务中引入用户偏好数据后，推荐准确率提升41%
- 场景预演训练：通过虚拟环境预训练，模型在家务任务中的表现提升35%
在Aquawar游戏的最新测试中，采用混合训练方法的模型已能达到业余人类玩家75%的胜率。而在模拟购物环境下，顶尖模型的商品筛选准确率从初版的32%提升至68%，这个数字仍在持续进化中。