当前位置：首页 > news >正文

EVOM：让强化学习智能体自主进化神经网络架构的元进化方法

news 2026/8/20 3:53:47

1. 项目概述：当智能体学会“自我进化”

在强化学习领域，我们一直在追求更智能、更高效的智能体。传统的做法是，我们作为算法工程师，像一个“造物主”一样，精心设计智能体的“大脑”——也就是它的神经网络架构，比如Actor-Critic框架中的Actor网络和Critic网络分别用几层、每层多少神经元、用什么激活函数。然后，我们把这个固定架构的智能体扔进环境里，通过海量的试错（采样）来优化网络参数，让它学会任务。

但这里有个根本性的矛盾：我们为智能体设计的初始“大脑结构”，真的就是完成这个任务的最优结构吗？很可能不是。一个用于玩《星际争霸》的复杂策略网络，和一个用于控制机械臂抓取简单物体的网络，其最优架构理应不同。然而，在绝大多数研究中，架构是人为预设且一成不变的。这就好比在生物进化中，我们不仅规定了物种的基因（参数），还锁死了它的身体结构（架构），这显然限制了进化的上限。

EVOM这个项目，直指这个核心矛盾。它的全称是“Agentic Meta-Evolution of Actor-Critic Architectures for Reinforcement Learning”，我把它翻译为“面向强化学习的智能体化元进化Actor-Critic架构”。这个名字有点拗口，但拆解开来非常有意思：

Agentic（智能体化）：这意味着进化过程本身是由一个或多个更高级的“智能体”来主导和执行的，而不是一个简单的、随机的遗传算法。这个智能体能“思考”如何修改架构。
Meta-Evolution（元进化）：这不是在进化网络参数，而是在进化“如何进化架构”的策略。它学习的是架构搜索空间中的有效路径和模式。
Actor-Critic Architectures：明确了进化的对象是强化学习中最经典、应用最广泛的Actor-Critic框架的架构。

简单来说，EVOM试图创造一个能“自我设计大脑”的强化学习智能体。它内置了一个“架构师”智能体（Meta-Agent），这个“架构师”会观察主智能体（Worker Agent）在任务中的表现，然后主动地、有策略地去调整主智能体的网络结构（比如增加一层、换个激活函数、调整连接方式），目的是让主智能体学得更快、表现更好、最终得分更高。这相当于将神经网络架构搜索（NAS）的过程，本身建模为一个强化学习问题，并且让搜索智能体在与环境交互中在线地、持续地优化架构。

如果你是一名强化学习的研究者或工程师，正在为你的智能体选择网络架构而头疼，或者你的任务环境复杂多变，单一固定架构难以胜任，那么理解EVOM背后的思想，可能会为你打开一扇新的大门。它代表的是一种走向更高层次自动化和自适应性的研究方向。

2. 核心思想与设计动机拆解

为什么我们需要如此“复杂”的元进化？要理解EVOM，我们需要先看看现有的架构搜索方法存在哪些痛点，以及EVOM是如何尝试解决它们的。

2.1 传统架构搜索的瓶颈

在EVOM出现之前，自动化神经网络架构搜索主要有几类方法：

基于强化学习的NAS（RL-NAS）：使用一个控制器RNN（作为智能体）来生成子网络架构的描述，训练子网络，用其性能作为奖励来更新控制器。问题在于：搜索成本极高。每个候选架构都需要从头训练至收敛才能评估，这需要成千上万的GPU小时。搜索和最终性能之间存在优化目标不一致（搜索时用代理任务或短时训练，部署时需完整训练）。
基于进化算法的NAS（EA-NAS）：将架构编码为“基因”，通过选择、交叉、变异来进化。虽然比RL-NAS更并行化，但同样面临样本效率低下的问题。大量的随机变异是无效的，搜索过程像“盲人摸象”，缺乏对架构空间结构的理解。
基于梯度的NAS（如DARTS）：将离散的架构选择松弛为连续变量，通过梯度下降同时优化架构参数和网络权重。这虽然快，但存在内存消耗大、搜索与评估架构差异大（离散化后性能下降）以及在大型搜索空间易崩溃的问题。

这些方法的共性是：它们将架构搜索视为一个独立的、离线的“外循环”。搜索算法（无论是RL控制器、进化算法还是梯度）本身是“愚蠢”的，它不理解为何某种架构变更会带来性能提升，只是机械地根据奖励或适应度进行选择。搜索过程与智能体在具体任务环境中的学习过程是割裂的。

2.2 EVOM的破局思路：智能体化的在线元进化

EVOM的核心创新在于引入了“Agentic”和“Meta”这两个概念。

智能体化（Agentic）：EVOM中的元进化器（Meta-Agent）本身是一个强化学习智能体。它的状态（State）是当前主智能体的架构描述、性能历史、当前环境状态片段等。它的动作（Action）是对主智能体架构的修改操作（如“在Actor网络的第2层后插入一个128维的全连接层，使用ReLU激活”）。它的奖励（Reward）是主智能体在架构修改后，于固定步数内获得的累计回报的增量。这样一来，架构搜索不再是一个黑盒优化问题，而是一个序列决策问题。Meta-Agent需要学习在什么“时机”、对架构的哪个“部位”、施加什么样的“手术”，才能最大化长期性能收益。这赋予了搜索过程策略性和前瞻性。
元进化（Meta-Evolution）：这里的“元”体现在两个层面。第一，它进化的对象是“架构修改策略”。第二，更关键的是，Meta-Agent与Worker Agent是共同进化的。Worker Agent在Meta-Agent修改的架构下学习任务策略；Worker Agent学习得越好，提供的奖励信号越强，反过来又训练Meta-Agent做出更好的架构决策。这是一个紧密耦合的、相互促进的协同进化过程。Meta-Agent在学习“如何为这个特定任务进化出好架构”的元知识。
在线与持续：与传统NAS离线搜索出一个“最好”的静态架构不同，EVOM支持在线持续进化。这意味着智能体的架构可以在其生命周期中动态变化。例如，在任务早期，一个简单的架构可能有利于快速探索；在任务后期，一个更复杂、更专用的架构可能有助于实现高精度控制。EVOM的Meta-Agent可以学会这种动态调整的策略。

这种设计动机直指核心：将架构设计权部分交给智能体自身，让它根据与环境的实时交互经验，自主地、智能化地重塑自己的“大脑”，以实现终身学习和持续适应。这不仅是效率工具，更是迈向更通用、更自主人工智能的重要一步。

3. 系统架构与核心组件详解

理解了思想，我们来看EVOM具体是如何实现的。一个典型的EVOM系统包含以下几个核心组件，它们协同工作，构成了一个双层强化学习系统。

3.1 双层智能体框架

EVOM系统包含两个层级的智能体：

工作智能体（Worker Agent）：
- 角色：任务执行者。它身处具体的强化学习环境（如MuJoCo机器人控制、Atari游戏），负责感知状态、执行动作、获得环境奖励。
- 架构：基于Actor-Critic框架，但其神经网络架构（包括层数、宽度、连接、激活函数等）是可变的，由Meta-Agent控制。
- 学习目标：在给定的当前架构下，通过策略梯度等方法（如PPO、SAC），学习最优的任务策略参数θ。
元智能体（Meta-Agent）：
- 角色：架构设计师。它位于一个“元环境”中。
- 元环境状态（s_meta）：通常包括：
  - Worker Agent当前架构的编码（例如，一个表示网络计算图的向量）。
  - Worker Agent近期性能指标（如最近K个回合的平均回报、回报方差）。
  - Worker Agent当前策略的某些统计量（如梯度范数、激活值分布）。
  - 当前环境状态的抽象（可选）。
- 元动作（a_meta）：定义在架构搜索空间上的一组离散或连续操作。例如：
  - 增/删层：在Actor网络的特定位置插入或删除一个全连接层。
  - 调整宽度：将某一层的神经元数量增加或减少Δn。
  - 更改激活函数：将某一层的激活函数从ReLU切换到Swish或Tanh。
  - 添加/删除跳跃连接。
  - 调整超参数：如学习率、熵系数等（可扩展）。
- 元奖励（r_meta）：这是驱动Meta-Agent学习的关键。通常定义为Worker Agent在架构修改前后，于一个固定的“评估窗口”（如N个环境步）内，所获累计回报的差值：r_meta = R_new - R_old。这直接衡量了架构修改的即时效用。为了鼓励长期效果，也可以使用折扣累计回报增量。

3.2 架构的表示与修改

如何用计算机能处理的方式表示一个可变的神经网络架构，并允许对其进行精细的修改，是EVOM实现的基础。

表示方法：常用的是基于计算图的编码。将Actor网络和Critic网络分别表示为一个有向无环图（DAG）。图中的节点代表操作（如全连接、卷积、激活函数、求和），边代表数据流。这个图可以通过邻接矩阵和节点属性列表来编码成一个固定维度的向量，作为Meta-Agent的状态输入的一部分。
修改操作：Meta-Agent的动作需要映射为对计算图的具体修改。这通常通过一个动作执行器（Action Executor）来完成。执行器解析Meta-Agent输出的动作编码，将其转换为对计算图的一系列原子操作，例如：
- AddLayer(node_id, layer_type, width, activation)
- RemoveLayer(node_id)
- ModifyEdge(source_id, target_id, op)（用于添加跳跃连接）
- ChangeActivation(node_id, new_activation)修改完成后，需要根据新的计算图定义，动态地重建PyTorch或TensorFlow模型。

注意：动态重建网络会破坏其原有的参数。EVOM通常采用网络变换（Network Morphism）或参数继承策略。例如，当增加一层时，新层的参数随机初始化，但通过一个恒等映射或近似的变换，使得新网络在输入相同的情况下，输出与旧网络尽可能相似，以保持学习的连续性，避免性能突变式下降。

3.3 协同训练流程

EVOM的训练是一个交替迭代的过程，可以概括为以下循环：

Worker Agent策略学习阶段：在固定的架构A_t下，Worker Agent与环境交互一定步数（例如，1万个时间步），收集经验数据，并使用PPO等算法更新其策略参数θ。同时，记录本阶段的平均回报R_t。
架构评估与元状态构建：阶段结束后，计算本阶段的性能指标。将当前架构A_t、性能指标R_t、以及可能的环境/策略特征编码成元状态s_meta_t，提供给Meta-Agent。
Meta-Agent决策阶段：Meta-Agent根据s_meta_t，输出一个元动作a_meta_t，例如“在Actor网络第3层后添加一个宽度为256的层”。
架构执行与迁移：动作执行器根据a_meta_t修改架构，得到新架构A_{t+1}。采用网络变换技术，将旧架构A_t的参数尽可能迁移到新架构A_{t+1}中，初始化新参数。
元奖励计算：让Worker Agent在新架构A_{t+1}下，运行一个较短的评估窗口（例如，2000步），计算其累计回报R_{t+1}^{eval}。元奖励为：r_meta_t = R_{t+1}^{eval} - R_t。
Meta-Agent策略学习：将元转移（s_meta_t, a_meta_t, r_meta_t, s_meta_{t+1}）存入Meta-Agent的经验回放池。Meta-Agent使用DDPG、TD3或PPO等适用于连续或离散动作空间的RL算法来更新其策略参数φ。
循环：回到步骤1，Worker Agent在新架构A_{t+1}下继续学习任务策略。

这个过程使得架构进化与策略学习同步进行，Meta-Agent通过不断试错，学习到针对当前任务和当前学习阶段的“最佳”架构修改策略。

4. 关键技术实现与实操要点

要将EVOM从论文思想落地到实际代码中，有几个技术关卡必须攻克。这里我结合自己的实验经验，分享一些关键实现细节和避坑指南。

4.1 元状态的设计：给Meta-Agent一双“慧眼”

Meta-Agent的决策质量极大依赖于元状态s_meta所包含的信息。设计不佳的状态表示会导致Meta-Agent学不到有效策略。

一个有效的元状态通常应包含以下几类信息：

架构编码：这是核心。需要对可变的计算图进行标准化编码。一种实践方法是使用图神经网络（GNN）来编码计算图。将每个节点（操作）和边（连接）的特征输入GNN，得到整个图的嵌入向量。这个向量能捕捉网络的拓扑结构和操作类型。
性能历史：不仅要有当前回报，还应包括一个时间窗口内的回报序列、回报的方差（衡量稳定性）、学习曲线斜率（衡量学习速度）。这有助于Meta-Agent判断当前架构是处于平台期、上升期还是下降期。
策略特征：例如，策略熵（衡量探索程度）、价值函数估计的误差、梯度的统计量（如均值、方差）。这些特征反映了当前策略的健康状况和学习难度。
任务上下文（可选）：对于非平稳环境或多任务环境，可以加入任务ID或环境状态的某些统计量（如观测值的均值和方差），帮助Meta-Agent进行条件化架构决策。

实操心得：不要试图一开始就把所有信息都塞进去。可以从最简单的架构编码+最近回报开始，逐步增加特征，并观察Meta-Agent的学习曲线。使用归一化（Normalization）处理不同量纲的特征至关重要，否则某些特征会主导状态向量。

4.2 元动作空间的设计：平衡表达力与搜索难度

动作空间定义了Meta-Agent能做什么。设计时需要在表达力（能覆盖所有有用的架构变化）和搜索难度（动作空间不能太大导致难以探索）之间取得平衡。

离散 vs. 连续：对于“选择哪种操作类型”（如增、删、改）这类离散选择，用离散动作。对于“调整宽度/学习率”这类连续值，用连续动作。EVOM通常采用混合动作空间。
分层动作：一个有效的设计是采用分层决策。第一层动作选择操作类型（如“添加层”），第二层动作指定操作参数（如在哪个位置添加、添加多宽、用什么激活函数）。这符合人类的思考逻辑，也便于探索。
动作掩码（Action Masking）：必须引入动作掩码来防止无效操作。例如，当网络只有一层时，“删除层”动作应该被禁用；当网络深度达到预设上限时，“添加层”动作应被禁用。这能大幅减少无效探索。

示例：一个简化的动作空间设计

# 元动作的编码（假设） action = { ‘op_type‘: 0, # 0: add_layer, 1: remove_layer, 2: change_width, 3: change_activation ‘target_network‘: 0, # 0: Actor, 1: Critic ‘layer_idx‘: 3, # 针对第几层操作（对于add，表示插入位置） ‘param1‘: 0.6, # 连续参数，例如：新增层的宽度比例（相对于输入维度）或新的宽度值 ‘param2‘: 2 # 离散参数，例如：激活函数类型 (0:ReLU, 1:Tanh, 2:Sigmoid) }

4.3 网络变换与参数继承：实现架构平滑过渡

这是EVOM实现中最精巧也最容易出bug的部分。当Meta-Agent决定修改架构后，我们不能简单地用新架构创建一个全新的、随机初始化的网络，那会导致Worker Agent之前学到的知识瞬间归零，性能断崖式下跌，从而给Meta-Agent一个巨大的负奖励，破坏其学习。

核心思想是：新网络应能近似模拟旧网络在相同输入下的行为。

对于添加层：
- 假设在位置i和i+1之间插入一个新层L_new。
- 一种简单策略是将L_new初始化为一个近似恒等映射。例如，如果L_new是全连接层，可以将其权重矩阵初始化为单位矩阵（或接近单位矩阵的小随机扰动），偏置初始化为零。这样，在初始时刻，output = L_new(input) ≈ input，整个网络的输入输出关系变化不大。
- 更精细的做法是使用函数保持变换，通过解一个优化问题，使新网络在某个数据集（如近期经验回放中的观测）上的输出与旧网络尽可能一致。
对于删除层：
- 直接移除该层及其参数。通常需要将移除层的前后层进行合并或调整，这比较复杂，且容易造成较大扰动。因此，许多实现中会谨慎使用“删除层”动作，或为其设置非常小的初始探索概率。
对于修改宽度：
- 增加宽度：新增加的神经元权重随机初始化，同时保留旧神经元及其连接。通常将新增神经元的输出权重（连接到下一层的）初始化为零，以避免短期内对输出产生大的影响。
- 减少宽度：需要选择移除哪些神经元。可以基于神经元激活的显著性（例如，L1范数）进行剪枝，移除最不活跃的神经元。移除后，需要重新调整下一层对应的输入权重。

避坑指南：网络变换的实现需要极其小心地处理张量形状和计算图。务必编写大量的单元测试，确保在各种变换操作（增、删、改）前后，网络对于一批随机输入的前向传播结果变化在可接受的范围内（例如，输出差异的L2范数小于一个阈值）。建议先在一个简单的多层感知机（MLP）上实现并测试所有变换操作，稳定后再集成到复杂的Actor-Critic框架中。

4.4 元奖励塑形与训练稳定性

元奖励r_meta = R_new - R_old看似直接，但在实践中存在挑战：

噪声与波动：强化学习本身的回报就有方差，短期评估窗口内的回报增量噪声很大。这会导致Meta-Agent收到的奖励信号非常嘈杂，难以学习。
延迟奖励：一个架构修改的正面或负面效果，可能需要Worker Agent学习很多步之后才能完全显现。短期评估可能无法捕捉长期收益。

解决方案：

基线（Baseline）与标准化：像A2C/PPO中一样，为元奖励减去一个基线（如最近多个元步骤的平均奖励），并对其进行标准化（减去均值，除以标准差），可以稳定Meta-Agent的训练。
多步评估与信用分配：可以使用更长的评估窗口，或者采用多步元奖励。即，在执行一个元动作后，连续进行K个Worker Agent学习阶段，将K个阶段的总回报增量作为该元动作的延迟奖励。这要求Meta-Agent处理部分可观测马尔可夫决策过程（POMDP）问题，可以使用RNN或Transformer来编码历史元状态序列。
内在奖励：除了性能增量，可以引入内在奖励来引导探索。例如，鼓励架构的多样性（惩罚与历史架构过于相似的动作），或鼓励产生结构上“新颖”的架构（基于架构编码的预测误差）。这能防止Meta-Agent过早收敛到一个局部最优的架构修改模式。

训练稳定性技巧：

分离训练频率：Worker Agent的更新频率（每一步或每N步）通常远高于Meta-Agent的更新频率（每T个Worker阶段）。T需要仔细调优。太频繁，Meta-Agent策略变化快，Worker Agent的架构不稳定；太稀疏，Meta-Agent学习慢。
使用保守的元策略算法：对于Meta-Agent，采用像PPO或TRPO这样带有信任域约束的算法，比像DDPG这样激进的算法通常更稳定，因为它能防止元策略的剧烈变化导致架构突变。
经验回放：为Meta-Agent使用一个大的经验回放池，并从中采样进行离线学习，有助于打破数据间的相关性，提高样本效率。

5. 实验设置、评估与结果分析

要验证EVOM的有效性，我们需要设计严谨的实验，并将其与强大的基线方法进行对比。这里我参考典型的研究范式，阐述如何搭建实验和解读结果。

5.1 基准任务选择

选择具有不同挑战性的连续控制基准环境是关键：

MuJoCo：如HalfCheetah-v3,Hopper-v3,Walker2d-v3。这些任务要求智能体学习复杂的运动技能，对网络架构的容量和表达能力有一定要求。
更复杂的任务：如Humanoid-v3（高维状态和动作空间）或Ant-v3（需要协调多条腿）。这些任务更能检验架构自适应能力的优势。
自定义的非平稳环境：例如，在训练中途改变机器人的动力学参数（质量、摩擦力），或改变任务目标。这可以测试EVOM在线适应变化的能力。

5.2 基线方法对比

一个完整的实验需要对比以下几类基线：

固定架构的SOTA算法：使用PPO或SAC，搭配人工精心设计的固定架构（如[256, 256]的MLP）。这是性能的绝对基线。EVOM的目标是达到或超越它。
随机架构搜索：在相同的搜索空间内，随机进行架构修改（即一个“愚蠢”的Meta-Agent）。这用于验证EVOM中智能体化搜索是否比随机搜索更有效。
基于进化的架构搜索：实现一个简单的进化策略（ES），定期对架构进行随机变异和选择。这用于对比智能体化搜索与传统进化方法的效率。
离线NAS方法：在训练开始前，使用如DARTS的方法搜索出一个架构，然后固定该架构进行训练。这用于对比在线进化与离线搜索在最终性能和计算成本上的差异。

5.3 评估指标

不能只看最终性能，需要多维度评估：

学习曲线：绘制随着环境交互步数（或训练时间）增加，智能体获得的平均测试回报。这是最直观的指标，看EVOM是否学得更快、最终性能更高。
样本效率：为了达到某个性能阈值（例如，HalfCheetah上回报>3000），分别需要多少环境交互步数。这衡量了数据利用效率。
计算开销：记录总的训练时间（Wall-clock time）和GPU内存占用。EVOM由于有双层训练和动态建图，开销必然比固定架构大。关键看性能-开销权衡是否可接受。
架构演变分析：
- 可视化整个训练过程中，Actor和Critic网络架构的变化（如层数、总参数量的变化曲线）。
- 分析Meta-Agent在不同训练阶段偏好哪些类型的修改动作（例如，早期倾向于增加宽度，后期倾向于调整连接）。
- 这能提供EVOM内部运作机制的洞见。

5.4 预期结果与洞见

根据相关领域的研究，一个成功的EVOM实现通常能观察到以下现象：

超越固定架构基线：在多数任务上，EVOM最终能达到与精心调优的固定架构相当甚至更高的性能。其优势在于，它找到的架构是为特定任务和特定学习阶段量身定制的。
更快的早期学习：EVOM的学习曲线在早期往往上升得更快。这是因为Meta-Agent在初期可能会构建一个相对简单但足够探索的架构，让智能体快速入门。而固定架构如果一开始就太复杂，反而可能学习缓慢。
样本效率优势：与离线NAS和随机搜索相比，EVOM通常能用更少的环境交互样本找到高性能架构。这是因为它的搜索是有导向的，利用了在线交互的反馈。
架构的动态性：分析图会显示，架构并非一成不变。在任务早期，架构可能增长较快（增加层或宽度以提升表达能力）；在性能平台期，可能会出现“修剪”操作（删除冗余单元）；在环境发生变化时，架构可能会再次调整以适应新情况。
Meta-Agent的策略学习：可以分析Meta-Agent的策略。例如，可能会发现一个模式：当Worker Agent的回报方差增大时，Meta-Agent倾向于采取保守动作（如微调宽度）；当回报进入平台期时，Meta-Agent更可能采取激进动作（如添加跳跃连接以缓解梯度消失）。

注意：EVOM并非在所有情况下都“赢”。它的主要优势体现在任务复杂、最优架构未知或非平稳环境中。对于简单任务，固定架构可能已经足够好，EVOM带来的额外计算开销可能不划算。因此，在论文或报告中，客观分析其适用边界同样重要。

6. 潜在挑战、局限性与未来方向

尽管EVOM思想前瞻，但在实际研究和应用中，它面临着一系列严峻的挑战。清醒地认识这些局限，才能更好地应用和改进它。

6.1 计算复杂度与成本

这是最直接的挑战。运行一个双层RL系统，意味着：

双倍（或更多）的策略更新：需要同时训练Worker Agent和Meta-Agent。
动态建图开销：每次架构修改都需要重新构建计算图并初始化/迁移参数，这比静态网络的前向传播和反向传播要慢。
超参数翻倍：需要调优两套RL算法的超参数（学习率、折扣因子等），以及它们之间的交互参数（如元动作频率T）。

缓解策略：

权重共享与蒸馏：让不同架构的Worker Agent共享部分底层特征提取层的权重，可以减少参数数量和学习成本。
异步分布式训练：可以并行运行多个具有不同架构的Worker Agent，汇集经验来共同训练一个共享的Meta-Agent，并加速架构评估。
代理任务与低保真度评估：在Meta-Agent训练中，使用更短的情节、更简单的环境版本或更低保真度的模拟器来快速评估架构，以降低每次评估的成本。

6.2 元状态的信用分配问题

Meta-Agent做出一个架构修改决策后，Worker Agent性能的变化是多种因素共同作用的结果：架构修改本身、Worker Agent策略的继续学习、环境随机性等。将长期性能变化精准地归因于某个特定的架构修改动作，是一个困难的信用分配问题。不准确的奖励信号会误导Meta-Agent。

可能的改进：

反事实推理：尝试估计“如果没有进行这个架构修改，性能会怎样”，从而更准确地计算修改带来的因果效应。
基于模型的元RL：为Meta-Agent学习一个预测模型，能够预测给定架构修改后，Worker Agent未来性能的走势。这样Meta-Agent可以进行更长期的规划。

6.3 搜索空间的表达力与归纳偏置

我们为Meta-Agent定义的架构搜索空间，本质上是一种强归纳偏置。如果我们只允许“添加全连接层”和“修改宽度”，那么EVOM永远也发明不出注意力机制或卷积层。搜索空间的设计极大限制了进化的天花板。

未来方向：

更丰富的原子操作：将搜索空间扩展到包含更现代的网络组件，如不同类型的注意力头、门控机制、归一化层等。
层次化架构进化：不仅进化网络内部的微结构，还可以进化网络的宏观拓扑，例如是否使用循环连接、是否引入外部记忆模块等。
与符号回归结合：探索如何让Meta-Agent能够发现全新的、人类未曾预设的数学操作或连接模式，这将是更根本的突破。

6.4 训练不稳定性与收敛性

双层优化问题本质上是非凸且复杂的。Worker Agent和Meta-Agent的学习过程相互影响，可能产生振荡或发散。如何保证这个协同进化系统稳定收敛到一个有意义的解，仍然是一个开放的研究问题。

实践建议：

谨慎的课程学习：初期限制Meta-Agent的动作空间（例如，只允许调整宽度），待训练稳定后，再逐步放开更复杂的操作（如增删层）。
强大的正则化：对Meta-Agent的策略施加强烈的熵正则化，鼓励其在训练初期充分探索。对Worker Agent的网络使用权重衰减、dropout等，防止在动态架构下过拟合。
耐心与大量实验：EVOM类项目对超参数极其敏感，需要大量的计算资源和实验迭代来找到稳定的配置。

6.5 泛化与迁移学习

一个在HalfCheetah任务上进化出的最优架构，能直接迁移到Walker2d上吗？很可能不行。这意味着每次面对新任务，都需要从头开始进化，成本高昂。

有趣的研究方向：

元学习Meta-Agent：在多个相关任务上训练一个通用的Meta-Agent，使其学会“如何为未见过的任务快速进化架构”。这个Meta-Agent学习的是跨任务的架构进化先验知识。
架构编码的迁移：学习一个良好的架构编码器，使得在任务A上表现好的架构，其在编码空间中的表示，与在任务B上表现好的架构表示相近。这样可以通过在编码空间中进行简单的调整来快速获得新任务的合适架构。

EVOM代表了一种让AI系统具备“自我改进”能力的迷人愿景。它将架构设计从一项离线、人工主导的工程，转变为在线、自主的学习过程。虽然目前面临着计算成本高、训练不稳定等现实挑战，但其核心思想——通过学习来优化学习过程本身——无疑是强化学习乃至通用人工智能向前发展的一个重要路径。对于研究者而言，它是一片充满机遇的蓝海；对于工程师而言，在计算资源允许的前提下，将其应用于对性能有极致要求的特定领域（如机器人控制、复杂游戏），可能会带来意想不到的突破。我的体会是，实现一个可工作的EVOM原型是一次对深度学习系统设计、优化理论和编程能力的全面锻炼，其过程中遇到的每一个坑，都能让你对“学习”这件事有更深一层的理解。

查看全文

http://www.cnnetsun.cn/news/4110035.html