当前位置：首页 > news >正文

UniAR：统一自回归建模如何简化多模态理解与生成任务

news 2026/7/14 2:38:58

过去一年，多模态大模型的发展路径似乎陷入了一种惯性思维：理解任务用 Encoder 架构，生成任务用 Decoder 架构，两者泾渭分明。这种割裂带来的直接后果是，同一个团队要维护两套模型、两套训练流程，甚至两套技术栈。更麻烦的是，理解和生成之间的能力无法自然流动——理解模型学到的知识很难直接助力生成任务，反之亦然。

就在大家逐渐接受这种“分工”时，复旦大学和阿里的研究团队提出了 UniAR（Unified Autoregressive Modeling），试图用一个统一的视觉 Tokenizer 打通多模态的理解与生成。这个方案最吸引人的地方不是某个单项指标的提升，而是它挑战了一个根本问题：我们是否真的需要为理解和生成设计两套完全不同的视觉表示体系？

UniAR 的核心思路很清晰：既然自然语言处理中，文本的 Tokenizer 既能用于理解也能用于生成，为什么视觉表示不能走同样的路？它用一个离散化的视觉 Tokenizer 将图像转换为 token 序列，然后直接用自回归的方式统一处理理解和生成任务。这种方法看似简单，却直接动摇了多模态建模的底层假设。

1. 为什么多模态的理解与生成长期“分家”？

要理解 UniAR 的价值，得先看清当前多模态模型的典型困境。

1.1 技术路径的历史惯性

在自然语言处理领域，BERT 为代表的 Encoder 架构在理解任务上表现出色，GPT 系列的 Decoder 架构则在生成任务上独占鳌头。当研究扩展到多模态时，这种分工思维被直接平移过来：

理解任务（如图像描述、视觉问答）通常采用 Encoder 架构，由视觉 Encoder 提取特征，文本 Decoder 输出结果
生成任务（如文本生成图像）则更多使用 Decoder 架构，从文本条件生成视觉内容

这种分工在早期确实合理——不同任务需要不同的归纳偏置。但随着模型规模扩大和任务复杂度增加，维护两套系统的成本变得越来越高。

1.2 表示层面的根本差异

更深层的问题在于视觉表示本身。传统方法中：

理解任务依赖连续的高维特征表示，保留丰富的语义信息
生成任务偏好离散的、压缩的表示，便于自回归生成

这种表示层面的不兼容，导致理解和生成模型之间几乎无法共享视觉编码器。即使强行共享，也往往需要在表示质量上做出妥协。

1.3 工程落地的实际痛点

在实际部署中，这种割裂带来的问题更加明显：

资源浪费：需要为理解和生成分别准备模型权重、计算资源
知识隔离：理解模型学到的视觉概念无法直接用于生成任务
流程复杂：多模态应用需要频繁在两种模式间切换，增加系统复杂度

正是这些痛点，让统一多模态建模范式成为一个值得深入探索的方向。

2. UniAR 如何用单一视觉 Tokenizer 实现统一？

UniAR 的方案本质上是对多模态建模的一次“简化”——通过统一视觉表示，降低系统复杂度。

2.1 核心设计：离散视觉 Tokenizer

UniAR 最关键的创新是设计了一个离散视觉 Tokenizer，其工作流程如下：

图像分词：将输入图像分割为 patch，通过卷积或 Transformer 编码为视觉 token
离散化：通过矢量量化（Vector Quantization）将连续特征映射到离散码本
序列化：将二维视觉 token 展平为一维序列，与文本 token 交错排列

这个过程类似于文本处理中的分词，但针对图像特性做了优化：

# 概念性代码，展示视觉 Tokenizer 的基本思路 class VisualTokenizer: def encode(self, image): # 1. 图像分块 patches = split_image_into_patches(image) # 2. 特征提取 features = visual_encoder(patches) # 3. 矢量量化 discrete_tokens = vector_quantize(features, codebook) return discrete_tokens def decode(self, tokens): # 从离散 token 重建图像 features = lookup_codebook(tokens) image = visual_decoder(features) return image

2.2 统一的自回归架构

有了离散视觉 Tokenizer 后，UniAR 采用纯自回归架构处理多模态序列：

序列构造：将图像 token 和文本 token 拼接成统一序列
任务统一：无论是理解还是生成，都转化为下一个 token 预测问题
训练统一：使用标准的语言建模损失，无需任务特定的优化目标

这种设计的巧妙之处在于，它避免了传统多模态模型中的模态对齐复杂度。模型只需要学习一个简单的目标：给定前面的 token，预测下一个 token。

2.3 灵活的提示机制

UniAR 通过不同的提示（prompt）设计支持多种任务：

# 图像描述任务 prompt = [图像token] + [文本"描述这张图像:"] target = [描述文本] # 视觉问答任务 prompt = [图像token] + [文本"问题:图像中有几只猫?答案:"] target = [答案文本] # 文本生成图像任务 prompt = [文本"生成一张有山的风景画:"] + [图像token] target = [图像token]

这种灵活性使得同一个模型能够处理截然不同的多模态任务，而无需修改模型架构。