2026年最新AI agent面试（07）_大模型架构基础

大家好，我是浩哥，这是我输出AI agent面试专题第七章，后面还有三期。建议加入粉丝，后面粉丝可见。

导语：本题型考察对 Transformer/注意力机制/位置编码的理解深度，以及 LLM 与传统 NLP 模型的根本差异——是区分"调包侠"与"真懂模型"的分水岭。面试官的核心诉求不是背定义，而是能讲清"痛点→结构→实现→取舍"这条因果链：RNN 卡在哪两点、Attention 怎么破、三种架构变体为什么 Decoder-only 赢、长上下文下 MHA 为什么爆显存、MQA/GQA/FlashAttention 各自动哪层刀、位置编码为什么从 sin/cos 演进到 RoPE、LLM 凭什么一个模型干所有事。

• 2026年最新AI agent面试（01）_Agent基础与推理范式
• 2026年最新AI agent面试（02）_MultiAgent与记忆
• 2026年最新AI agent面试（03）_工具协议MCP_A2A_FC
• 2026年最新AI agent面试（04）__工具工程网关外部
• 2026年最新AI agent面试（05）_RAG基础应用
• 2026年最新AI agent面试（06）_RAG文档与检索
• 2026年最新AI agent面试（07）_大模型架构基础
• 2026年最新AI agent面试（08）_大模型训练评测
• 2026年最新AI agent面试（09）_AI编程ClaudeCode
• 2026年最新AI agent面试（10）_通信与行业动态

总目录可见 2026年最新AI agent面试（0）概述篇

Q1. 多头注意力（MHA）有哪些核心局限？MQA / GQA / FlashAttention 分别怎么解决，它们之间是替代还是叠加关系？ ［来源：小红书大模型一面］

• 核心答案：MHA 的瓶颈要分"训练"和"推理"两个阶段看，二者痛点不同。训练阶段的主要代价是每层要存一个 N×N 的注意力分数矩阵给反向传播用，且注意力计算本身是 O(N²) 复杂度，序列翻倍计算量翻 4 倍；推理阶段才是真正的显存杀手——自回归生成需要 KV Cache 把历史所有 token 的 K、V 缓存下来，其显存随头数 H、序列长 N、层数 L 线性膨胀（约 2·B·N·L·H·d_k·2 字节，一个 7B 模型跑 32K 上下文仅 KV Cache 就约 17GB），同时 Attention 里的 softmax 要反复在 HBM 与计算单元间搬运 N×N 大矩阵，瓶颈在"内存带宽"而非算力（memory-bound）。

• 核心答案（续）：工业界对应三类优化，但动刀的层次完全不同。MQA让所有 head 共享一份 K/V，KV Cache 直接压到 1/H，但多视角能力被压成单视角，表达力损失 2-5%，推理类任务掉点明显；GQA是 MHA 与 MQA 的连续折中——把 H 个 head 分成 G 组，每组内共享一份 K/V（G=H 退化为 MHA，G=1 退化为 MQA），G=8 时 KV Cache 压到 1/4 而效果几乎与 MHA 持平（<0.5%），是显存与效果的甜蜜点；FlashAttention则完全不改 Attention 的数学公式，从底层实现优化——把 Q/K/V 切块放进 SRAM（带宽约 HBM 的 13 倍）做"分块 + 在线 softmax（online softmax）"，不把 N×N 中间矩阵写回 HBM，显存从 O(N²) 降到 O(N)，速度提升 2-4 倍，且数学上等价于标准 Attention（非稀疏/低秩近似）。

• 核心答案（续）：最关键的一条认知：MQA/GQA 是"结构层"优化（改 Attention 公式里有几套 K/V），FlashAttention 是"实现层"优化（改计算执行方式），二者是叠加关系而非替代关系。真实工程里一定是组合用——主流大模型（Llama 3、Qwen 2、DeepSeek V3）标配就是 “GQA 结构 + FlashAttention 实现”，叠加后一个 7B 模型能在 4090（24GB）上跑 32K 长上下文，这是五年前不敢想的。

• 关键点 / 展开：

  • MHA 三大痛点连成一条线：N² 复杂度让长序列计算量平方级膨胀；KV Cache 让长上下文显存爆掉；访存带宽（HBM↔SRAM 层级差）让 GPU 算力发挥不出来。三者互相加剧，长上下文场景最突出。
  • KV Cache 的构成与量级：= 2(K/V) × B × N × L × H × d_k × 2字节(FP16)；7B 模型（L=32,H=32,d_k=128）在 batch=1、N=32K 时约 17GB，加权重 14GB 共 31GB，单张 4090 放不下——这就是面试常追问"KV Cache 怎么省"的根源。
  • MQA 的代价：32 个 head 原本有 32 套不同"视角"（K=标签、V=内容），强制共享一套 K/V 后多视角退化为单视角；大模型上效果下降 2-5%，数学/代码类推理任务损失明显，故工业界不如其折中版 GQA 受欢迎。
  • GQA 的连续光谱与取舍：H 套(MHA) → G 套(GQA) → 1 套(MQA)；H=32、G=8 时显存占 G/H=1/4，组间独立保留多视角，组数越多视角越丰富，G=8 通常已足够保持效果。Llama 2 70B、Llama 3、Qwen 2/3 均默认用 GQA。
  • FlashAttention 原理：SRAM 带宽 19 TB/s 远快于 HBM 1.5 TB/s；分块计算配合在线 softmax（维护"当前最大值+累积和"增量更新）避免写回 N×N 中间矩阵，结果数值等价、仅浮点精度尾差；现已迭代到 v3（针对 H100 优化），是 vLLM/SGLang/TGI 等推理框架的默认实现。
  • 进阶方向（加分项）：MLA（DeepSeek V2/V3，把 K/V 压缩到低秩 latent 空间，KV Cache 比 GQA 更小且效果更好，机制不同于 GQA 不能简单说成"GQA 升级版"）；Sliding Window（Mistral，局部注意力需与全局混合）；Linear Attention（Performer/Linformer，O(N) 但效果差一截未成主流）；Mamba/SSM（弃用 Attention，研究热点非工程主流）。

• 常见追问：

  1. MQA/GQA 是只在推理时共享 K/V，还是训练时也共享？共享后效果为什么下降、为什么 Llama 2 不用 MQA 而用 GQA？——答：训练推理都共享；表达力损失来自多视角压缩；GQA 以可忽略的效果代价换来接近 MQA 的省显存，故成主流。
  2. 如果只能三选一用哪个？——答：这是伪命题，工程中必然叠加；它们攻击的是不同维度瓶颈（结构 vs 实现），能指出这一点说明理解了优化体系的层次结构。

• 2026 延伸：DeepSeek 的MLA（Multi-head Latent Attention）是当前 KV Cache 压缩的最前沿工程实践（来源：DeepSeek V2/V3 技术报告），通过低秩潜在表示存储 K/V，显存收益优于 GQA；可关注其与 GQA 的对照。

Q2. 讲讲 Transformer 架构的基本原理？Self-Attention 怎么运作？Encoder 与 Decoder 是什么、为什么现代大模型几乎都选 Decoder-only？ ［来源：抖音大模型二面］

• 核心答案：Transformer 的核心创新是 Self-Attention，让每个 token 直接与序列中任意位置建立加权联系，一次性并行计算，彻底解决了前代 RNN 的两个致命缺陷——顺序计算无法并行（第 N 步必须等 N-1 步，浪费 GPU 并行能力）、长距离梯度消失（序列长时第 1 个词的信息传到第 800 个词已基本衰减，LSTM 门控只能缓解不能根治）。其基础计算单元是 Scaled Dot-Product Attention：Attention(Q,K,V)=softmax(QK^T/√d_k)·V，Q/K/V 由输入 X 经三个独立可学习的线性投影 W_Q/W_K/W_V 得到（"自"注意力的"自"即 Q/K/V 同源），除以 √d_k 是为把点积方差压回 1，避免数值过大使 softmax 变 one-hot 导致梯度消失。

• 核心答案（续）：Encoder 与 Decoder 是 Transformer 的两种堆叠范式，区别在于"信息可见范围"与"任务适配"。Encoder-only（BERT 代表）双向可见、无掩码，擅长理解类任务（分类、NER、语义相似度），预训练目标是 MLM；Decoder-only（GPT/Claude/Qwen 代表）用因果掩码（Causal Mask）只能看前面 token，天然适配生成，预训练目标是预测下一个 token（CLM）；Encoder-Decoder（T5/BART 代表）Encoder 双向理解输入、Decoder 单向生成输出，通过 Cross-Attention 连接，适合输入输出是不同文本的任务（翻译、摘要、问答）。现代通用生成式大模型几乎全部选择 Decoder-only，根本原因是"预测下一个 token"这一训练目标极其统一——所有 NLP 任务都能表达为"续写"，且能直接在海量无标注文本上自监督训练，规模越大涌现能力越强。

• 关键点 / 展开：

  • RNN 两大死穴：①顺序计算无法并行→训练极慢；②长程梯度消失→学不到远距离依赖。这是 Transformer 出现的动机，讲架构前必须先讲清。
  • Q/K/V 的来历：均由同一输入 X 经三个独立投影矩阵变换得到（W_Q/W_K/W_V 独立学习，给模型 3 倍自由度去学"从什么角度提问/用什么标签匹配/返回什么内容"）；d_k 通常取 d_model/H，使多头总参数与单头基本一致。
  • 除以 √d_k 的动机：d_k 大时点积方差≈d_k、数值散布到 ±30，softmax 退化为 one-hot 使梯度 p(1-p)→0 消失；√d_k 把方差压回 1，8 年实践验证为最简洁合理之选（可学习 scaling 或 LayerNorm 替代效果相当但更繁）。
  • Multi-Head 的意义：把 Q/K/V 投影到多个子空间，每组独立算注意力再拼接，不同 head 捕捉不同类型关联（主谓、宾动、指代等），整体表达力更强。
  • FFN 的角色：每个 Transformer 块内两层全连接+激活，对每个位置独立做非线性变换，补充注意力的线性加权；可解释性研究表明 FFN 存储大量"事实知识"，是模型的"记忆仓库"。
  • 为什么 Decoder-only 赢（面试高光）：目标统一（续写表达一切任务）+ 可直接海量无标注自监督（CLM 比 MLM 更适合 scale up）+ 规模越大涌现越强。Encoder-only/Encoder-Decoder 并未消失（检索、分类、翻译、摘要仍用），只是通用对话生成场景 Decoder-only 更易 scale up、接口最统一。

• 常见追问：

  1. "除以 √d_k"有哪些替代方案？可以不用吗？——答：可用 LayerNorm 前置归一化、可学习 scaling 标量、或限制 d_k 极小，但均不如固定 √d_k 简洁且所有主流实现（GPT/LLaMA/Qwen）都用它。
  2. BERT 也算预训练大模型，为什么不算 LLM/为什么没赢？——答：BERT 输出是"表示"非"文本"，需为每个任务接不同任务头+单独微调+标注，且 MLM 是"填空"不擅长连续生成，只解决"特征通用"未解决"任务统一"。

• 2026 延伸：可补充FFN 即记忆仓库的可解释性视角（来源：Transformer 可解释性研究），以及 MoE（混合专家）对 FFN 的扩展——当前 Llama 4、DeepSeek V3、Qwen 均引入 MoE 在固定激活参数下放大总参数量。

Q3. 大模型为什么需要位置编码？sin/cos、RoPE、ALiBi 这几种各有什么区别，为什么主流都选 RoPE？ ［来源：滴滴大模型二面］

• 核心答案：位置编码要解决的问题是 Self-Attention 的"位置盲"缺陷——注意力计算softmax(QK^T/√d)·V对位置不对称、只关心"谁和谁相关"不关心"谁在前谁在后"。“我打你"与"你打我"的 embedding 集合相同、算出的注意力几乎一致，但语义相反，模型若分不清主宾语就无法理解语言。位置编码必须满足三点：数值范围合理（不覆盖 token embedding）、能区分不同位置（独特"指纹”）、能泛化到训练时未见过的长度（外推）。直接喂 1,2,3,4 这种离散序号不行——会拉爆 embedding 数值且无法泛化到更长序列。

• 核心答案（续）：三种主流方案的设计哲学与优劣势如下。sin/cos（Sinusoidal，原始 Transformer）是绝对位置编码，用不同频率 sin/cos 给每位置生成固定"指纹"并直接加到 token embedding 上，零参数但绝对位置太死板、长上下文外推差（训练见过 2K，推理上 4K 会断崖下跌）。RoPE（旋转位置编码，苏剑林 2021）是相对位置编码，不"加"到 embedding 而是"旋转"Q/K 向量，位置 m 对应旋转角 mθ；其关键数学性质是两个旋转后向量点积只依赖角度差 (m-n)，天然把相对距离编进注意力、零参数、保留向量模长、且与 KV Cache/FlashAttention/MQA-GQA 无缝叠加，长上下文外推最强（配合 NTK/YaRN 等可推到 32K-100K+，但需校准或继续训练，非无损银弹）。ALiBi（Attention with Linear Biases）是另一种相对位置编码，不动 Q/K/V 而直接在注意力分数加距离惩罚-m·|i-j|（m 为每 head 不同斜率），零参数极简、线性外推天然好，但表达力弱、过强局部偏置不利长程依赖，仅 MPT、BLOOM 等用过未成主流。RoPE 赢在"相对位置编码 + 长上下文外推 + 工程兼容性"三维度的最均衡，故 Llama/Qwen/DeepSeek/Mistral/GLM 全系采用，已成事实标准。

• 关键点 / 展开：

  • 为什么不能直接用序号：离散整数会破坏连续 embedding 的数值范围（embedding 多为 -1~1 小数），且训练见过的序号推理时遇更长序列从未见过，效果必崩。
  • sin/cos 的构造直觉：把 d 维拆 d/2 对，高频对区分近距离、低频对区分远距离，每个位置在 d 维空间有独特"身份证"；用"加法"而非"拼接"注入（不增维度，网络可自动解耦）。致命伤是绝对位置需模型自己从"位置 3 与 5 的身份证"反推"相对距离 2"，无显式归纳偏置，外推到训练截止长度外迅速恶化。
  • 绝对 vs 相对的本质：模型真正需要的是相对位置（"主谓隔 2 词"稳定，而"主语在第 3 位"随修饰语漂移）。RoPE/ALiBi 都让编码只依赖位置差 m-n，把相对距离显式编进计算。
  • RoPE 的数学内核：旋转后点积仅由角度差决定→相对位置进点积、模型无需学；旋转不改模长只改方向→不破坏 embedding 数值范围、训练更稳；连续角度变化无"训练截止"概念→外推衰减比 sin/cos 平缓。
  • ALiBi 的取舍：距离惩罚线性、无训练截止、理论可无限外推；但所有位置信息仅靠单一惩罚传递，对"主谓宾语序"等精细关系建模不如 RoPE，且线性惩罚过度偏向近邻，不利长程任务。
  • 三种方案对比一句话：sin/cos=绝对/加 embedding/外推差；ALiBi=相对(距离惩罚)/加分数/外推好但表达弱；RoPE=相对(旋转)/旋 QK/外推强且表达强且工程兼容——故 RoPE 胜出。

• 常见追问：

  1. RoPE 和 sin/cos 都是"加位置信息"，为什么说 RoPE 不是加到 embedding 上？——答：sin/cos 是位置向量与 token embedding 逐位相加（加法注入）；RoPE 是在投影出 Q/K 后对其做旋转变换（旋转注入），相对位置天然进入点积，机制完全不同。
  2. RoPE 外推真能"无成本无限拉长"吗？——答：不能。直接喂远超训练长度的角度仍会衰减；需 PI/NTK/YaRN 调整频率参数，且要做到稳定 100K+ 常配合长上下文继续训练/校准数据/专项评测（长文检索、多跳推理、位置敏感任务）。

• 2026 延伸：长上下文外推技巧已形成PI（Position Interpolation）→ NTK-aware Scaling → YaRN的演进链（来源：RoPE 外推系列工作，YaRN 为大厂当前最常用），核心是在高频维度(精细位置)几乎不动、低频维度(粗略位置)按比例缩放；可关注LLM 长上下文继续训练（Long-Context Continued Training）与 RoPE 频率重标定相结合的实践。

Q4. 什么是大语言模型（LLM）？它和我们以前用的传统 NLP 模型有什么区别？ ［来源：阿里云 Agent 面试官］

• 核心答案：大语言模型的本质是"用海量语料预训练、参数达百亿/千亿规模、自回归生成文本的统一模型"。它和传统 NLP 模型的根本区别在三个层面：工程层面——传统 NLP 是"一任务一模型"的流水线（分词→词性标注→NER→意图分类各自训模型，错误累积传导、换领域全重训），LLM 是"一个模型干所有事"，靠 Prompt 统一接口表达任务；范式层面——传统模型是判别式（输入文本输出标签/概率，理解与生成分离），LLM 是生成式（输入文本输出更多文本，理解与生成同模型内完成）；能力层面——传统模型靠显式监督"喂什么学什么"，LLM 靠大规模预训练+涌现，能做出训练目标里未显式教过的能力（多步推理、上下文学习、跨语言迁移）。

• 核心答案（续）：LLM 把所有 NLP 任务统一成"预测下一个 token"（CLM，Causal Language Modeling，自回归+因果掩码），这是它颠覆性的根源。该目标无需任何人工标注——互联网文本天然是可训练样本（GPT-3 用 3000 亿 token、Llama 3 用 15 万亿 token，规模是 BERT 时代的上千倍）；模型为准确预测下一个词，被迫学到语法、事实与推理模式（"北京是中国的____"需知首都，"x=2 则 x²=____"需会算数）。其副产物In-Context Learning（上下文学习）让模型从 Prompt 中几个例子学会新任务而无需更新参数，是 Prompt Engineering 学科诞生的基础。更关键的是涌现能力（Emergent Abilities）：某些能力在小模型几乎不可见、规模过临界点突然表现（多步算术在 540B PaLM 从 5% 跳到 60%；ICL 临界点约 100B；GPT-3 仅 8% 中文数据却能跨语言迁移）。这一切由Scaling Law驱动——模型规模、数据量、算力同比例放大时损失沿幂律下降（Chinchilla 给出参数:数据≈1:20，如 70B 配 1.4T token）；但涌现是否纯属评测指标离散性（如 exact match 非黑即白）学术上仍有争议，面试应客观表述。

• 关键点 / 展开：

  • 传统 NLP 流水线之痛：任务越细分模型越多→标注成本越高→迁移越难，陷入死循环；中文分词歧义（“南京市长江大桥”）、OOV 未登录词等新词即懵，每步独立模型+独立标注+错误累积传导，前面错后面全错。
  • BERT 是过渡而非终点：证明"预训练+微调"可行（MLM+NSP 纯无标注），解决"特征通用"（一个 BERT 服务多任务），但没解决"任务统一"——输出是"表示"非"文本"，每任务需单独任务头+标注+微调，且 MLM 是填空不擅生成。
  • CLM 统一接口示例：翻译=Prompt"…翻译成英文：我喜欢你 →"续写"I like you"；分类=Prompt"评论正面/负面？'这家店太黑了’→答：“续写"负面”；总结/写代码同理，全收编为"Prompt+续写"。
  • 三个本质区别一张表：①任务方式：一任务一模型 pipeline ↔ 一个模型 Prompt 统一；②输出范式：判别式(标签/概率) ↔ 生成式(文本)；③能力来源：显式监督 ↔ 大规模预训练+涌现。
  • 涌现的 caveat 与趋势：部分"突变"可能来自评测指标离散性；超某规模后单纯堆参数边际收益递减，趋势是"参数不一定要最大、但数据要够多算力要够花"（Llama 3 8B 用 15T token 训好过早期 GPT-3 175B）。
  • 对工程团队的含义：工作方式从"先拆任务选 BERT 变体再微调"重写为"先想 Prompt、再想 RAG、最后才考虑 LoRA"；NLP 工程师核心技能转向 Prompt Engineering、RAG、Agent 编排、对齐微调。

• 常见追问：

  1. BERT 也有几亿参数，算不算大语言模型？——答：不算。LLM 的"大"不仅在参数，更在"自回归生成+CLM 统一目标+涌现"；BERT 是判别式 Encoder-only、输出表示非文本、无生成与涌现，属预训练语言模型而非 LLM。
  2. Siri 也能聊天，它是大语言模型吗？——答：不是。Siri 类属规则/检索式对话系统，无大规模自回归生成能力，不理解"预测下一个 token"的统一范式，不具备涌现与上下文学习。

• 2026 延伸：可关注Scaling Law 的精细化（来源：Chinchilla / DeepMind，参数:数据 1:20 配比）与"数据规模超过参数规模带来回报"的工程事实；以及In-Context Learning 的机制研究（来源：GPT-3 之后学界），这是 Prompt Engineering 与 Agent 能力的底层支点。

📌 本题型速记 Checklist

• RNN 两大死穴：顺序计算无法并行 + 长程梯度消失 → 这是 Transformer 出现的根本动机，开口必讲。
• Attention 公式：softmax(QK^T/√d_k)·V；Q/K/V 由同一输入 X 经三个独立投影矩阵得到；"自"即同源，"√d_k"防 one-hot 梯度消失。
• 三种架构变体：Encoder-only（BERT，双向理解）、Decoder-only（GPT 系，因果生成）、Encoder-Decoder（T5/BART，Cross-Attention）；现代通用大模型赢家是 Decoder-only。
• Decoder-only 胜因三连：目标统一（续写表达一切）+ 海量无标注自监督（CLM 比 MLM 易 scale up）+ 规模越大涌现越强。
• MHA 三大痛点：N² 复杂度 + KV Cache 显存爆炸 + 访存带宽受限（memory-bound，瓶颈在 HBM↔SRAM 而非算力）。
• 三类优化分层：MQA/GQA 是"结构层"（改几套 K/V，省显存），FlashAttention 是"实现层"（分块+在线 softmax，省显存又加速），二者叠加非替代；主流标配=GQA+FlashAttention。
• KV Cache 量级：≈2·B·N·L·H·d_k·2字节；7B@32K 约 17GB，是长上下文头号问题，也是 MQA/GQA/MLA 的优化靶点。
• 位置编码必要性：Attention “位置盲”，“我打你"≠"你打我”；序号不可用（破坏数值范围+无法泛化）。
• 三种位置编码：sin/cos（绝对/加 embedding/外推差）、ALiBi（相对距离惩罚/加分数/外推好但表达弱）、RoPE（相对旋转 QK/外推强且表达强且工程兼容）→ RoPE 成事实标准（Llama/Qwen/DeepSeek/Mistral 全系）。
• RoPE 外推真相：配合 PI/NTK/YaRN 可调频扩展，但稳定 100K+ 常需继续训练/校准+专项评测，非无成本无限外推。
• LLM vs 传统 NLP 三维度：工程（一任务一模型 pipeline ↔ 一个模型 Prompt 统一）、范式（判别式 ↔ 生成式）、能力（显式监督 ↔ 预训练+涌现）。
• 涌现与 Scaling Law：涌现是工程可观察的能力跃迁（学术上对是否测量假象有争议）；Chinchilla 配比参数:数据≈1:20；趋势是"数据>参数"——Llama 3 8B 用 15T token 反超早期 GPT-3 175B。