AI异构计算工程师必知：从体系结构到CUDA性能优化
2018年百度校招AI异构计算工程师的笔试题，第二批，这个话题放在今天看依然很有嚼头。当时那场笔试结束后，不少应届生在网上讨论题目难度，吐槽“CPU、GPU、缓存、CUDA全覆盖”，也有人感慨“面试造火箭，工作拧螺丝”。但说句实在话，这批题目考察的东西，恰恰是今天AI基础设施方向最值钱的底层能力：体系结构、并行编程、性能优化和系统设计思维。
这篇文章不是去复盘某一道具体题目，而是把这类笔试背后的考察逻辑、核心知识体系、做题思路，以及这份岗位在真实工程中的样子，完整拆开揉碎讲一遍。无论你是准备校招、想转AI底层加速方向，还是单纯对“异构计算”这四个字好奇，这篇内容应该都能帮你在脑子里搭起一张地图。
1. 这次笔试到底在考什么：岗位画像与出题逻辑
1.1 AI异构计算工程师是做什么的
先别急着刷题，你得先搞清楚这个岗位的存在意义。所谓异构计算，核心就是让不同架构的处理器各司其职：CPU负责复杂逻辑和任务调度，GPU、FPGA、ASIC这类加速器负责大规模并行计算。放在AI场景里，就是你在训练一个深度模型时，数据预处理、图调度、控制流逻辑跑在CPU上，而矩阵乘法、卷积这类计算密集型的算子要放到GPU上跑，如果更激进一点，还会用FPGA做推理加速、用AI芯片做端侧部署。
这个岗位不是“调包侠”，而是要深入到框架底层，写算子、优化内存、调内核、分析性能瓶颈。说白了，你得同时懂三样东西：计算机体系结构、并行编程模型、深度学习框架的运行机制。笔试就是围绕这三样东西设计的。
1.2 出题逻辑：为什么题目长这样
从公司的角度看，校招笔试要在短时间内筛掉大量候选人，题目必须覆盖各段位的人。基础题考你有没有计算机系统功底，进阶题考你有没有并行编程直觉，附加题则看你面对开放问题有没有系统化思考能力。
第二批的“批”字也有讲究。校招笔试分批次，通常是因为报名量太大、考场安排不过来，也可能是因为题库里有多个版本的试卷需要分散使用。从概率上讲，第二批的题目会和第一批有知识点重叠，但具体题目会换花样。所以准备这类笔试，押题是没用的，老老实实把底层原理吃透才是正路。
我还注意到一个细节：这类岗位的笔试很少考纯深度学习理论，比如反向传播推导、损失函数调参，反而更爱考C++多线程、CUDA编程、访存优化、加速比计算。原因很简单，AI异构计算工程师的日常不是做模型效果，而是让模型跑得更快，工程属性远大于算法属性。
1.3 2018年前后的技术背景：这批题为什么这么出
聊这一节，是为了让你理解出题方向的来源。2018年是深度学习框架百家争鸣的时期，TensorFlow 1.x如日中天，PyTorch正在快速崛起，各家大厂都在自研训练框架和推理引擎。而GPU编程人才严重稀缺，大部分算法工程师只会在Python层调用框架，对底层kernel一无所知。
这种情况下，公司招聘AI异构计算工程师，本质上是在抢“能写高性能CUDA代码”的人。笔试自然就侧重于：你对GPU硬件了解多少、你写过多少并行程序、你能不能发现性能瓶颈。那几年也是AI芯片创业潮的高峰，做AI加速器的公司遍地开花，但做芯片的人可以不懂框架，做框架加速的人必须懂硬件，这种人才缺口直接决定了考题重心。
2. 硬核考点：体系结构与并行计算原理
2.1 从CPU到GPU：理解两种设计哲学
笔试中反复出现的题目，本质上都在考察你是否理解CPU和GPU的设计差异。CPU是“延迟优化”的产物，它把大量晶体管用在分支预测、乱序执行、大容量缓存上，目的是让单个程序跑得更快。GPU则是“吞吐优化”的产物，它用大量简单计算核心堆出并行度，单个线程很弱，但一万个线程一起跑，就能碾压CPU。
一个经典类比是：CPU就像几个博士生，每个人都能解复杂数学题；GPU像一万个小学生，每个人只会做加减法，但你把一万个小学生组织起来，同时做一万道加减法，速度就上来了。AI计算恰恰是“一万道加减法”的集合体，矩阵乘法里每个输出点的计算彼此独立，天然适合GPU。
这类题目经常是选择题或简答题，比如“GPU为什么不适合跑串行任务”“CPI、吞吐量、延迟之间什么关系”。回答的关键，不在于背概念，而在于你脑子里能浮现出这两种芯片的微架构图。
2.2 Amdahl定律与并行效率：笔试必考的加速比计算
Amdahl定律是我反复强调必考的一个点，因为它太适合出成计算题了。公式很简单：加速比 ( S = 1 / ((1 - P) + P / N) )，其中P是可并行部分占比，N是处理器数量。但很多人算题没问题，却忽略了这个公式背后的工程含义：即使你有无限多核心，加速比的上限也只有 ( 1 / (1 - P) )。
举个例子，一个程序中20%的代码无法并行，哪怕你用1000个核心去跑，最大加速比也只有 ( 1 / 0.2 = 5 ) 倍。这在工程里太常见了——你优化一个kernel优化得飞起，结果数据加载、预处理、CPU和GPU之间的拷贝是串行的，整体性能提升就被卡住了。
笔试中这类题往往会给一串数字让你算加速比，或者反过来问你“要达到某个加速比，需要多少核心”。建议你把Amdahl定律和Gustafson定律都推一遍，理解两种观察角度：固定问题规模 vs 固定时间。前者是强扩展，后者是弱扩展，在性能分析里都有应用场景。
2.3 存储层次与访存局部性：性能题的核心
异构计算工程师日常做的最多的事就是“搬数据”，所以存储体系一定是笔试重灾区。从CPU角度看，你需要理解L1/L2/L3缓存、寄存器、主存的关系；从GPU角度看，你要理解寄存器文件、共享内存、L2缓存、全局内存、常量内存、纹理内存这一整套层次。
笔试常常考察的一个概念是局部性。时间局部性是指刚访问过的数据很快还会被访问，空间局部性是指访问了一个地址后，周围的地址也很快会被访问。在GPU编程里，空间局部性对应的是“合并访问”（coalesced memory access），也就是一个warp里的32个线程最好访问连续的内存地址，这样硬件能把这些访问合并成一次或少数几次内存事务。
这一块我强烈建议你用实际数据去感受。你在CUDA里写一个数组求和，如果线程按顺序访问连续地址，带宽利用率可能达到80%以上；如果每个线程跳着访问，带宽可能直接掉到20%。笔试里不会让你跑实验，但描述这种场景的判断题很常见，能不能一眼看出“这里访存不连续”，就是高分和低分的分水岭。
2.4 笔试常考的并行模式：map、reduce、scan、stencil
我在带新人的时候发现，很多人刷了不少CUDA题，但遇到新问题还是懵，因为他们没有抽象出并行模式。校招笔试其实特别偏爱四类模式：
- Map（映射）：每个输入对应一个输出，互不依赖，直接并行，比如逐元素加和、图像像素调整。
- Reduce（归约）：把一组数据规约为一个值，比如求和、求最大值，需要树形划分和线程同步。
- Scan（扫描）：又叫前缀和，每个输出是前面所有输入的累计结果，比如 ( y[i] = y[i-1] + x[i] )，这个在排序、稀疏矩阵处理里很常用。
- Stencil（模板）：每个输出依赖周围邻居的输入，典型代表是图像卷积、有限差分。
笔试时看到一道编程题，先别急着写代码，问问自己：这个计算属于哪类模式？能不能拆成map和reduce的组合？这个思维习惯能让你在考场上省下大量时间。
我见过一道很有代表性的题目：给一个二维矩阵，要求把每个元素替换成它周围3×3网格的平均值。不会并行编程的人，写个双重for循环就完事了；稍微懂行的人会说这个适合stencil模式，用共享内存存tile，减少重复访存。这道题考的其实不是你会不会写图像处理，而是你对数据复用和访存模式的理解。
3. CUDA编程与优化实战思路
3.1 CUDA线程模型：grid、block、thread与warp
如果笔试只允许出一个考点，那大概率是CUDA线程模型。你需要清楚一件事：GPU执行的最小单位是线程，但真正调度执行的单位是warp，一个warp通常是32个线程。你在写代码时指定block大小为128、256或512，但硬件会把block切分成多个warp来调度。
block的大小选择是有讲究的。太小，比如32，每个block只有1个warp，调度开销大，占用率可能不够；太大，比如1024，一个block占用的资源太多，可能限制同时驻留的block数量。实际工程里128到256是常见的默认选择，但这绝不是死规矩，得根据kernel的寄存器用量、共享内存用量、访存模式来调。
笔试可能会让你分析“为什么block大小设为256而不是257”。本质是在考你warp对齐：block大小最好是32的倍数，这样每个block刚好是整数个warp，不会产生尾部浪费。
3.2 矩阵乘法：从朴素实现到优化实现
矩阵乘法是GPU编程的“hello world”，笔试、面试、工作面试题都爱考它。朴素实现很简单：每个线程算输出矩阵的一个元素，三层循环。第一版代码能跑，但性能极差，因为每个线程都从全局内存重复读A和B的数据，访存严重冗余。
进阶思路是分块（tiling）：把输出矩阵切分成小块，每个block负责计算一个小块，先把需要用到的A、B数据加载到共享内存，然后反复从共享内存读。这一步优化能把全局内存访问量降低几个数量级，是笔试考“共享内存作用”时的标准答案。
再往后，还有双缓冲（double buffering）隐藏共享内存加载延迟、避免bank conflict调整共享内存布局、使用向量化加载float4、用Tensor Core做混合精度计算。这些优化点，笔试里经常会以“请列出你能想到的矩阵乘法优化手段”这样的开放性题目出现。你要做的是按层次来答：基础分块、共享内存复用、避免bank conflict、提高计算访存比、使用特殊硬件单元。按这个顺序答，出题人就知道你是真写过性能代码的人。
3.3 归约与原子操作：并行编程的经典陷阱
归约问题是另一道高频题：有一个长度为N的数组，求所有元素的和。朴素并行思路是每个线程算一部分，然后加到全局结果上。但这有个严重问题：如果所有线程同时往一个全局变量上累加，会发生竞争，结果不确定。解法有两种：一是用原子操作，简单但原子操作在高竞争下会严重拖慢速度；二是树形归约，每轮把两个部分和合并，用共享内存做缓存，最后只做极少的原子操作或由单个线程写回。
笔试考这个题，往往是让你分析“为什么这段并行求和代码结果是错的”，或者“如何改进”。答案里要有两个关键词：竞争条件（race condition）和树形归约。另外还得注意一个细节：块内用__syncthreads()做同步时，如果让一个block里的多个warp都写同一个共享内存位置，也可能产生竞争，必须保证先写、同步、再读的顺序。
这背后其实是一个更通用的问题：并行程序里，同步和通信是最大的敌人。原子操作是锁的替代品，但有性能代价；同步会带来barrier等待；通信则产生数据搬移。笔试和工程里，你得能判断什么时候该用哪种手段。
3.4 访存优化与异步执行：决定性能上限的关键
很多人在性能优化上陷入一个误区：只盯着计算量，忽略了访存。实际上在AI kernel里，绝大多数算子都是访存密集型，性能瓶颈在内存带宽，不在计算单元。衡量指标是算术强度（arithmetic intensity），也就是每字节数据对应多少次浮点运算。
以向量加法为例，每个元素需要读两个数、写一个数，但只做一次加法。这种低算术强度的操作，无论你怎么调kernel，性能都受制于内存带宽。笔试如果让你评估一段代码的潜在性能，你得学会先算算术强度，再对比硬件平台的“计算峰值/内存带宽”比值，判断这段代码是compute-bound还是memory-bound。
这时候异步执行的作用就体现出来了。GPU有独立的DMA引擎，可以做到数据拷贝和kernel执行重叠。使用pinned memory（页锁定内存）可以加速CPU和GPU之间的拷贝，使用多个CUDA stream可以让不同kernel之间部分重叠执行。笔试里出现“如何让CPU和GPU通信不阻塞计算”这类题时，标准答案就是pinned memory加stream异步。
4. 深度学习框架与异构加速的交叉考点
4.1 框架底层如何调度GPU：从Python到Kernel
笔试考深度学习框架的题，不会真让你写一个张量库，而是在概念层面考察你懂不懂框架的运行机制。一个典型的流程是：你用Python定义了一个矩阵乘法，PyTorch会把它封装成一个operation并加入计算图；执行时，调度器会把这个op派发给对应的GPU kernel；kernel在GPU上启动，执行完结果写回显存；如果开启了自动微分，还会记录反向传播所需的中间张量。
框架层面有一个很重要的概念叫“op放到哪个设备上”。你写代码时用.cuda()把张量搬到GPU，但这只是显式管理。框架内部还有显存缓存分配器，它不会每次请求都向驱动申请内存，而是预分配一大块显存，然后自己管理分配和释放。2018年前后，各家框架的显存管理策略差别很大，笔试可能会问“为什么你监视显存占用时，框架看起来把显存都吃了”这类题，答案就是显存池机制。
4.2 卷积计算的加速思路：im2col与隐式GEMM
卷积是深度学习计算的核心，笔试题不会让你直接写出高性能卷积kernel，但会问“卷积在GPU上怎么加速”。这时候你要知道，大多数框架不是直接做卷积，而是把卷积转化成矩阵乘法（GEMM），因为矩阵乘法有高度优化的cuBLAS库可以调用。
最直观的转换是im2col：把输入feature map按卷积窗口重新排列成一个大矩阵，然后和权重矩阵做GEMM。这个方法实现简单，但会引入大量显存冗余，所以后来又有了隐式GEMM，不真正展开数据，直接在计算时按GEMM的索引方式取数据，省掉了冗余存储。
再高阶一点是Winograd和FFT。Winograd通过在频域里做变换减少乘法次数，在3×3卷积上应用广泛；FFT在超大卷积核上有效，但在小卷积核上反而更慢。笔试如果让你比较这些方案的优劣，你需要抓住两个维度：计算量与额外内存开销。没有一种方案是万能的，能做工程的人都明白这个道理。
4.3 混合精度与推理优化：从FP32到FP16/INT8
2018年那会儿，Tensor Core已经出现在NVIDIA的Volta架构上，FP16混合精度训练也逐渐成为趋势。笔试考混合精度的核心，是让你理解为什么用低精度能加速：一是FP16的存储带宽需求减半，二是Tensor Core能大幅提升浮点吞吐率，三是显存占用变少，可以跑更大的batch。
但混合精度不是把float换成half就完事。FP16的表示范围小，容易溢出，所以训练时要额外维护一个FP32的权重副本，并用损失缩放（loss scaling）防止梯度下溢。推理场景下还有INT8量化，需要考虑量化误差和校准方法。笔试的判断题往往考察你能不能意识到“低精度不是免费的，需要损失精度风险与性能收益”。
这一节的思想本质是：性能优化的核心不是无脑堆算力，而是找到计算精度要求和硬件特性之间的平衡点。这种判断力，比背几个API值钱得多。
5. 真实做题复盘：如果坐在考场上
5.1 拿到一份异构计算笔试题的答题顺序
这篇帖子不是教人做某张卷子，但我可以分享一套通用的答题策略。异构计算工程师的笔试题通常分三块：客观题（选择填空）、代码题（C++或CUDA）、系统题（开放论述）。很多人喜欢按顺序从头做到尾，但我建议先花三分钟浏览全卷，把题目按“会、模糊、不会”分类。
先做会做的题，保证基础分；再做模糊题，尽量写出推导过程和关键步骤，说不定能拿部分分；最后啃不会的题。特别是代码题，一定要展示你的思考过程，就算代码没完全写对，也要把思路写清楚，比如“这里应该开一个block网格，每个block负责计算某一行”。在校招笔试里，部分分和完整分差得很远，但零分和一百分之间的差距，往往就看你有没有写出关键的概念。
5.2 一道典型C++多线程题的思考过程
异构计算工程师的笔试题里，C++多线程题不会缺席，目的是考察你有没有多线程编程的底层直觉。想一道典型的题：让两个线程交替打印奇数和偶数，线程A打印1、3、5，线程B打印2、4、6。这道题看着简单，实际考察的是两件事：条件变量（condition variable）的使用和锁的粒度控制。
解题思路是维护一个共享变量表示当前轮到谁，每个线程拿到锁之后检查是否轮到自己，不是则等待，是则打印并修改状态、通知对方。看似简单，坑点在于：初学者容易忘了把条件变量放在while循环里而不是if里，因为可能存在“虚假唤醒”，也就是线程被唤醒后发现条件其实不满足。这类题考察的不是你能不能写出正确代码，而是你对并发编程里经典的“lost wakeup”陷阱是否敏感。
如果是CUDA版本，出题风格就变了，比如“写一个kernel把数组所有元素乘以2”。这种题明显是考网格划分，你要把block数算清楚，确保覆盖N个元素且不越界。答案不唯一，但好的答案会考虑N不是blockDim整数倍的情况，用边界判断处理。
5.3 系统设计题的答题框架：性能优化的完整思路
开放性的系统设计题是最拉分的一类，通常长这样：“某个AI推理服务延迟很高，你怎么定位和优化”或者“请设计一个异构训练系统的框架”。这类题没有标准答案，但阅卷人很清楚什么答案有工程经验。
我推荐的答题框架是四步走：第一，明确系统边界和性能指标，把“延迟很高”具体化为“P99延迟100毫秒，目标降到30毫秒”。没有量化目标就无从优化。第二，画出数据流和计算图，标出哪些环节是CPU、哪些是GPU，往往瓶颈一眼就能看出来，比如CPU预处理太慢，GPU在空转。第三，逐层分析：是该调框架参数、改kernel还是换硬件？先做成本最低的改动，比如增加Pipeline并行度，让数据准备和计算重叠。第四，给出验证方案，怎么测量、怎么判断改有效果。
这种结构化的思路，比“我觉得应该用TensorRT做加速”这种单一答案要加分得多。因为面试官看到的是你有完整的优化方法论，而不是只会套工具。
6. 从笔试到工程：异构计算工程师的真实日常
6.1 笔试通过之后：接下来会被考察什么
如果你笔试顺利通过，后面迎接你的是至少两轮技术面试和一轮代码面。到了这个环节，笔试里考的那些知识都会被“追问”到更深一层。比如笔试写了矩阵乘法优化，面试官就会问：你为什么选128作为block大小？你的kernel占用率是多少？有没有用profiler量过带宽？
我亲眼见过一个候选人，笔试里矩阵乘法优化写得很好，但一问到“如何用Nsight Compute定位性能瓶颈”，人就支支吾吾了。这说明他只刷过题，没真正做过性能分析。我的建议是：不要因为笔试刷题通过了就万事大吉，你应该真的在本机上跑几个实验，把NVIDIA Nsight或者AMD ROCm的性能分析工具用熟，至少在简历上写项目经历时，你能说出“我通过profile分析发现某个算子访存不连续，然后我用共享内存分块把它优化了3倍”这种话。
6.2 异构计算在今天的演进：大模型时代反而更重要
你可能觉得2018年的笔试已经过时，恰恰相反，异构计算在大模型时代的重要性不仅没降，反而更高了。当年跑一个ResNet-50，单卡V100基本够用；现在训练千亿参数大模型，动辄需要几千张GPU，算力调度、显存管理、通信优化、故障恢复，每个环节都是异构计算工程师的主场。
以前笔试里考的显存管理，现在对应的是大模型训练里的ZeRO、重计算（activation checkpointing）和显存碎片整理；以前考的通信优化，现在对应的是all-reduce、ring-AllReduce、NCCL调优；以前考的混合精度，现在对应的是FP8训练和推理量化。底层的知识体系没有变，变的是规模和应用场景。
所以如果你现在还在为这类笔试做准备，看2018年的题是好事，因为核心考点依然准确。但你更应该把目光放远：在掌握CUDA优化后，去了解分布式训练框架的显存规划，去了解最新的AI加速芯片指令集。这些东西学得越深，你在行业里的价值越大。
6.3 给准备者的学习路径建议
最后，我给真心想投这个方向的人一条可行的学习路线。第一步，补体系结构基础，推荐读《计算机组成与设计》和《深入理解计算机系统》的前几章，重点是缓存、虚拟内存、流水线。第二步，上手CUDA编程，不要只看书，一定要把《CUDA C++ Programming Guide》前几章的例子在自己的显卡上跑一遍，然后把矩阵乘法从朴素版一步步优化到使用共享内存和Tensor Core。
第三步，学工具链：熟练使用Nsight Compute和Nsight Systems。前者看kernel内部的吞吐和延迟瓶颈，后者看整个应用的时间线。第四步，深入到推理引擎或训练框架的源码，比如把TensorRT的onnx解析到执行的流程走一遍，或者看DeepSpeed怎么管理显存碎片。每一步都在为笔试的“最后一类开放题”积累素材。
记住一点：笔试考的不是你背了多少，而是你有没有形成“先从系统角度看问题、再深入到算子细节”的思维习惯。这种思维，不是刷几周题能速成的，但一旦建立了，后面受益很久。
我在实际带人的过程中发现，很多同学对异构计算的第一反应是“高端、门槛高”，其实它只是把计算机系统最朴素的原则用在了AI场景里：知道数据放在哪里、知道哪些计算可以并行、知道瓶颈在计算还是访存、知道如何用硬件特性把潜力逼出来。2018年那批笔试题目虽然已经过去好几年了，但把这套本事练好，放到今天的大模型训练和推理优化里，依然是一张硬通货。