为什么低延迟 Decode 优先选 EP8 × DP4
这张图展示的是MoE 模型在推理（Inference）部署时，最核心的架构选型与调优决策树。
以32 张 GPU（假设单机 8 卡，共 4 台机器）为例，它阐述了如何在EP（专家并行）和DP（数据并行）之间做权衡，特别是针对低延迟 Decode（解码）阶段的落地方案。
1. 核心矛盾：NVLink 极速 vs. IB 跨机延迟
为什么 EP 开得越大不一定越好？关键在于物理网络层级：
- 单机内 8 卡（NVLink/NVSwitch）：通信带宽极高（如 900 GB/s），All-to-All 延迟极低。
- 跨机 32 卡（InfiniBand / RoCE 网卡）：通信带宽相比 NVLink 打折，且经过交换机，网络延迟（Latency）显著增加。
2. 三种配置方案对比
| 配置方案 | 跨卡范围 | A2A 通信介质 | 单 Expert GEMM 尺寸 (mem_eme) | 优点 | 缺点 / 风险 |
|---|---|---|---|---|---|
EP8 × DP4 |
(首选方案)| 限制在单机 8 卡内 |全 NVLink（极速） | 较小 | 延迟极低；拥有 4 个独立请求副本，抗并发能力强 | 权重在 4 个 DP 副本里各存了一份；GEMM 较小 |
|EP16 × DP2| 跨 2 台机器 |NVLink + IB 网卡| 中等 | 显存占用减少；mem_eme变大，GPU 算力利用率提高 | A2A 开始走跨机网卡，通信延迟陡增 |
|EP32 × DP1| 跨 4 台机器 |全网卡跨机| 最大 | 显存占用最少；GEMM 算力利用率最高 | 同步域太庞大，网络长尾延迟（P99）容易爆表 |
3. 为什么低延迟 Decode 优先选EP8 × DP4？
在大模型推理的Decode 阶段（逐字生成 Token）：
- 延迟极度敏感：用户对每 Token 生成延迟（TPOT）非常卡顿敏感。
- Batch Size 通常不大：不像 Prefill 阶段那样有海量 Prompt Token，Decode 阶段的总体 Token 数有限。
如果盲目把 EP 扩大到 16 或 32：
- 尽管 GEMM 的计算效率高了一点点（比如省了 1~2 ms），但跨机 IB 网卡的 All-to-All 通信延迟却增加了 5~10 ms！
- 最终“通信增加的时间”远大于“计算节省的时间”，整体延迟反而变烂。
因此，只要单机 8 卡（EP8）能装下模型权重，首选绝对是EP8 × DP4，把 A2A 死死封印在单机 NVLink 内部。
4. 图底部的“最终测量”指标（面试/调优 Profiling 检查表）
当你在真实环境中跑 Benchmark 压测时，这张图列出了压测必须监控的核心指标：
业务延迟指标：
首 Token 延迟 (TTFT)：Prefill 阶段的性能。
每 Token 延迟 (TPOT / Time per Output Token)：Decode 阶段的流畅度。
P50 / P99 延迟：长尾延迟（P99 爆表通常是因为跨机 A2A 网络抖动或专家负载不均）。
系统 Bottleneck 拆解：
Dispatch/Combine 时间：通信耗时。如果这个时间占比>30%>30\%>30%，说明 EP 开大了或网络卡了。
Expert GEMM 时间：纯计算耗时。
最热 Expert / rank：负载不均（Load Imbalance）。如果某个 Expert 成了热点，会导致全卡等待它算完（Straggler Effect）。