CVPR 2022 | 无需训练的Transformer架构搜索

01 论文信息

论文题目：Training-free Transformer Architecture Search
论文作者：Qinqin Zhou, Xing Sun, Kekai Sheng, Yonghong Tian, Xiawu Zheng, Jie Chen, Ke Li, Rongrong Ji
发表单位：Media Analytics and Computing Lab, School of Informatics, Xiamen University；Tencent Youtu Lab；Peng Cheng Laboratory；School of Electronic and Computer Engineering, Peking University；Institute of Artificial Intelligence, Xiamen University；Fujian Engineering Research Center of Trusted Artificial Intelligence Analysis and Application, Xiamen University
发表会议：CVPR2022
代码链接：https://github.com/decemberzhou/TF_TAS

02 论文主要贡献

• 我们提出了一种无需训练的TAS（TF-TAS），该方法包含一种模块化策略，可在评估ViT架构时将MSA（多头自注意力）的突触多样性与MLP（多层感知机）的突触显著性结合起来，作为DSS指标。
• 大量实验表明，所提出的TF-TAS不仅取得了具有竞争力的搜索性能，还提升了ViT架构搜索的效率。
• 我们设计了一系列对照实验，对训练-free 代理指标在训练-free 架构搜索（TAS）中的表现进行对比。研究结果为在评估视觉Transformer（ViT）架构时设计最优代理指标提供了一些实证见解。

03 论文创新点

1. 首次开展面向 ViT 的无训练 Transformer 架构搜索（Training‑free TAS）。
   以往 TAS 大多依赖 one‑shot 范式训练超网，计算成本高昂，而 CNN 的零成本代理又不能直接适配 ViT；本文首次探究在不训练网络的条件下完成 ViT 架构评估与搜索的可行方案。
2. 发现 MSA 与 MLP 需要区别对待。
   通过剪枝敏感性实验观察到两个模块属性差异显著：MSA 参数冗余高、易发生秩坍缩；MLP 冗余度低、对剪枝高度敏感，二者不适合使用同一套评价准则。
3. 提出模块化评价指标 DSS‑indicator。
   针对 MSA 设计突触多样性指标来衡量注意力矩阵的丰富程度，针对 MLP 使用突触显著性衡量参数重要性，将二者结合得到网络综合评分；仅利用随机初始化权重配合一次前向、反向传播即可完成架构排序，并且通过全 1 输入消除随机种子带来的评估波动。
4. 大幅降低 TAS 搜索计算开销。
   基于 DSS‑indicator 构建 TF‑TAS 搜索流程，不再需要训练大型超网，搜索代价从传统方法约 24 GPU 天下降至 0.5 GPU 天，加速约 48 倍，搜出的模型精度可以和 SOTA 手工、搜索得到的 ViT 相匹敌，方法还与搜索空间、权重共享策略正交，具备良好兼容性。

04 方法

4.1 MSA的突触多样性

4.1.1 理论分析

1. MSA 是 ViT 的基础模块，已有研究指出 MSA 会出现秩坍缩现象：随着网络深度增加，MSA 输出逐步收敛为秩‑1 矩阵，矩阵各行取值趋同，多样性缺失；秩坍缩会严重降低 ViT 性能
2. 在高维特征空间直接估计秩坍缩计算开销很大；依据已有研究结论，矩阵秩包含特征多样性信息，因此可以使用 MSA 模块权重矩阵的秩作为评价 ViT 架构的指标

4.1.2 突触多样性

1. 直接求解权重矩阵秩计算复杂，不利于实际使用；文章采用核范数近似矩阵秩，作为多样性指标；在 Frobenius 范数满足特定条件时，核范数可以等价替代矩阵秩
2. 同时引入损失对权重的梯度矩阵，综合权重矩阵与梯度矩阵；定义第l个 MSA 模块的突触多样性公式：
   
   其中Wm代表 MSA 内部第m个线性层的权重矩阵。

4.2 MLP的突触显著性

4.2.1 理论分析

1. 剪枝敏感性实验表明，MLP 和 MSA 特性存在明显差异。MLP 参数冗余低，对剪枝高度敏感，少量权重被移除就会带来显著的性能损失。
2. 借鉴剪枝领域的突触显著性，该度量可以评估参数的重要性，适配 MLP 模块的特性。

4.2.2 突触显著性

1. 给出第l层 MLP 突触显著性计算公式：
   
   Wn表示 MLP 的可学习权重矩阵，⊙为哈达玛乘积。

4.2.3 验证实验

从 AutoFormer 搜索空间采样 100 个 ViT 候选网络重新训练。
MSA 突触多样性 Kendall’s τ=0.65，MLP 突触显著性Kendall’s τ=0.71

4.3 无需训练的TAS

DSS-indicator

仅需一次前向、反向传播即可计算该指标；将输入全部像素置为 1，并采用特定形式的损失函数，消除输入与随机种子的干扰，同时捕获权重的层间交互。搜索时从 ViT 搜索空间采样 8000 个子网，依靠 DSS 分数排序筛选出得分最高的架构，最后对选出的网络重训练得到最终测试精度。

05 实验分析

5.1 AutoFormer 搜索空间上的实验结果

速度提升，而性能基本持平。证明：DSS 可以替代昂贵的架构性能评估。

5.2 PiT搜索空间的实验结果

TF‑TAS 搜索得到的模型拥有更高 ImageNet Top‑1 精度，且搜索时间更短，说明该方法可以适配不同的 ViT 搜索空间。

5.3 与零成本代理的对比

构建了一个 ViT proxy benchmark，然后比较 Kendall’s τ

总体排序：DSS > NASWOT > SNIP > GraSP > TE-score }
说明 DSS 对 ViT 架构性能的排序能力最好。

5.4 不同随机种子下的一致性

DSS：STD=0
原因是作者使用全 1 输入：消除了输入数据随机性的影响。
所以 DSS 不依赖随机采样输入。

06 个人声明

本文为作者对原论文的学习笔记与心得分享，受个人学识与理解所限，文中对论文内容的解读或有不够周全之处，一切以原论文正式表述为准。本文仅用于学术交流与传播，内容均由作者独立整理完成，不代表本公众号立场。如文中所涉文字、图片等内容存在版权争议，请及时与作者联系，作者将在第一时间核实并妥善处理。