034、神经网络编译器：从TensorFlowPyTorch到NPU指令

034 神经网络编译器：从TensorFlow/PyTorch到NPU指令

一次让我熬夜到凌晨三点的调试

去年做一款端侧AI芯片的SDK时，客户反馈同一个MobileNetV2模型，在PC上用PyTorch跑精度99.2%，部署到我们的NPU上直接掉到87.3%。我盯着反汇编出来的NPU指令流看了整整两天，最后发现是编译器把某个卷积层的量化参数算错了——一个batch normalization folding的精度损失被重复累积了三次。

这种问题，手写汇编永远不会犯，但编译器会。因为它不知道你的模型“应该长什么样”，它只认计算图。

编译器到底在编译什么

很多人以为神经网络编译器就是把Python代码翻译成二进制。错了。它翻译的是计算图，不是代码。

当你写model.forward(x)时，PyTorch/TensorFlow背后构建的是一个有向无环图——节点是算子（Conv2D、ReLU、Add），边是张量流动。编译器拿到这个图，要做三件事：

1. 图优化：把能合并的算子揉在一起（比如Conv+BN+ReLU合并成一个NPU硬件指令）
2. 内存规划：决定每个中间张量放在SRAM还是DDR，什么时候可以覆写
3. 指令生成：把优化后的图映射成NPU的微码序列

这里有个关键认知：