当前位置：首页 > news >正文

Elliot CUDA 编程笔记（二）

news 2026/8/18 9:41:15

反向传播（线性层梯度）

deflinear_backward(dout,x,w):dw=np.dot(x.T,dout)db=np.sum(dout,axis=0,keepdims=True)dx=np.dot(dout,w.T)returndx,dw,db

通过实现这些函数并组合成训练循环，我们可以用纯NumPy复现PyTorch的训练过程，准确率同样能达到约90%。

移植到C语言 ⚙️

上一节我们在NumPy中理解了所有操作，本节中我们将其移植到C语言，为后续的CUDA加速做准备。

C语言实现需要手动管理内存和循环。以下是核心数据结构和函数：

定义神经网络结构体

typedefstruct{float*weights1;float*bias1;float*weights2;float*bias2;float*grad_weights1;float*grad_bias1;float*grad_weights2;float*grad_bias2;intinput_size;inthidden_size;intoutput_size;}NeuralNetwork;

矩阵乘法函数

voidmatmul(float*a,float*b,float*c,intm,intn,intk){for(inti=0;i<m;i++){for(intj=0;j<n;j++){floatsum=0.0f;for(intp=0;p<k;p++){sum+=a[i*k+p]*b[p*n+j];}c[i*n+j]=sum;}}}

前向传播函数

voidforward(NeuralNetwork*net,float*input,float*hidden,float*output,intbatch_size){// 第一层: input -> hiddenmatmul(input,net->weights1,hidden,batch_size,net->hidden_size,net->input_size);add_bias(hidden,net->bias1,batch_size,net->hidden_size);relu_forward(hidden,batch_size*net->hidden_size);// 第二层: hidden -> outputmatmul(hidden,net->weights2,output,batch_size,net->output_size,net->hidden_size);add_bias(output,net->bias2,batch_size,net->output_size);softmax(output,batch_size,net->output_size);}

反向传播和参数更新

反向传播需要计算每一层的梯度，并按照链式法则传递。参数更新则遵循梯度下降公式：weight = weight - learning_rate * gradient。

通过完整的C语言实现，我们可以在CPU上运行MNIST训练，虽然速度较慢，但为理解CUDA并行化打下了坚实基础。

使用CUDA加速 ⚡

上一节我们完成了CPU上的C语言实现，本节中我们利用CUDA将其加速。

CUDA实现的核心是将计算密集的操作（如矩阵乘法）移植到GPU上并行执行。我们主要修改以下部分：

设备内存管理：使用cudaMalloc和cudaMemcpy在主机和设备间传输数据。
核函数编写：为矩阵乘法、ReLU、Softmax等操作编写并行核函数。
启动配置：合理设置线程块和网格大小以最大化GPU利用率。

一个简单的矩阵乘法核函数示例

__global__voidmatmul_kernel(float*a,float*b,float*c,intm,intn,intk){introw=blockIdx.y*blockDim.y+threadIdx.y;intcol=blockIdx.x*blockDim.x+threadIdx.x;if(row<m&&col<n){floatsum=0.0f;for(inti=0;i<k;i++){sum+=a[row*k+i]*b[i*n+col];}c[row*n+col]=sum;}}

主机端调用

// 设置启动配置dim3blockDim(16,16);dim3gridDim((n+blockDim.x-1)/blockDim.x,(m+blockDim.y-1)/blockDim.y);// 启动核函数matmul_kernel<<<gridDim,blockDim>>>(d_a,d_b,d_c,m,n,k);

通过将前向传播、反向传播和参数更新中的所有关键操作都实现为CUDA核函数，我们可以显著提升训练速度。在相同的超参数下，CUDA版本可以在更短的时间内达到与CPU版本相近的准确率（约90%）。

总结 🎯

本节课中我们一起学习了如何从零开始实现并训练一个MNIST多层感知机。

我们首先使用PyTorch快速搭建了模型，理解了高级API的便捷性。然后，我们深入NumPy，从零实现前向传播、损失计算、反向传播和梯度下降，揭示了神经网络训练的核心原理。接着，我们将算法移植到C语言，处理了内存管理和循环优化，为性能提升做准备。最后，我们利用CUDA进行并行加速，将计算密集型任务分配给GPU，实现了显著的性能提升。

https://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/elliot-cuda-prog/img/ae3ba39c4a447415d3fed36690a00a69_11.png

通过这个完整的项目，我们不仅掌握了MNIST分类任务，更深入理解了从高级框架到底层硬件加速的完整深度学习流水线。你可以在此基础上尝试优化CUDA核函数、调整网络结构或探索其他数据集。

12：下一步方向 🚀

https://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/elliot-cuda-prog/img/a4063da9cdbb2b488ffb61a88b4b82bf_0.png

在本节课中，我们将总结整个课程，并为希望继续深入学习的你指明方向。我们将介绍一些高级优化概念、推荐学习资源以及活跃的社区，帮助你进一步提升CUDA和GPU编程技能。

如果你已经坚持学到这里，请给自己一些鼓励。这基本上就是本课程的终点了。你做到了，做得很好。

我们接下来将快速浏览一些提示，为你指明继续深入的方向。你可能很难完全掌握所有内容，这完全可以理解。但如果你希望继续，这里有一些额外的资源可以支持你。

在课程的README文件中，有一个关于统一内存和内存架构的章节，我认为这很有用，你可能会感兴趣。但此刻我想主要介绍的是“深入探索”部分。如果你想更进一步，真正了解如何在CUDA和GPU编程（尤其是在深度学习领域）应用深度优化和先进技术，你可以这样做。

以下是几个关键方向：

量化技术

量化是指从高精度数据类型（如FP32）转换到低精度数据类型（如FP16或INT8）的过程。即使从FP32降到INT8，模型仍能保持相当好的性能和精度质量。实现这一点有一些特定的技巧。

很多技巧与数值范围有关。例如，如果你的数值范围被限制在-10到10之间，你就不必担心很多指数值的问题。如果权重初始化稳定且训练过程中数值不会超出这个范围，你可以直接将其作为精度上限，这将是它能达到的最大值。量化本质上就是这种将高精度数字转换为低精度数字的艺术，然后利用这些低精度数字进行非常快速的操作。

INT8运算比FP32快得多，不仅仅是四倍。我们在比较kblas与kblas_lt的32位与16位性能时已经看到了显著的提升。你可以想象INT8会更快，因为它只涉及整数运算，无需担心浮点数或小数点。

量化技术很酷，被广泛应用于当前模型中，例如GPT-4或Llama 4/5B。很多模型实际上都使用了量化，很可能是BF16、FP8甚至Float4。这很酷。

张量核心

https://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/elliot-cuda-prog/img/a4063da9cdbb2b488ffb61a88b4b82bf_2.png

张量核心非常棒。我虽然已经提到过，但不能不提。我之所以没有在本课程中详细覆盖，是因为这更像是一个入门课程。我试图在有限的课时内塞入尽可能多的内容，以便你能消化。如果你想继续深入，张量核心显然是下一步。

稀疏性

稀疏性是一个很酷的概念。你可以这样理解稀疏性：假设我有一个数组，它可能像这样：[0, 0, 0, 0, -7, 0, 0, 0, 0, 0, 0, 6, 0, 0, 0, 0]。这就是稀疏的含义：存在大量零值，偶尔出现一些代表重要信息的大数值。

这里的核心思想是，你可以用更少的内存来存储这些数据。这更多是关于内存和计算性能的优化，而不仅仅是质量提升。我们可以使用两个矩阵：一个存储非零值（如[-7, 6]），另一个存储这些值对应的坐标（如[4, 11]）。这样，我们只需要存储4个整数，而不是原来的16个整数，大大减少了存储需求。

https://github.com/OpenDocCN/dsai-notes-pt1-zh/raw/master/docs/elliot-cuda-prog/img/a4063da9cdbb2b488ffb61a88b4b82bf_4.png

想象一下，当你扩展到2D或3D结构时，你将节省数个数量级的内存，这可以非常高效。因此，在设计高性能神经网络时，需要考虑是否能利用稀疏性。如果外部编写神经网络架构的人（例如使用PyTorch时）鼓励稀疏性，并且模型在这方面运行良好，那么这对你来说就非常有利，会让你的工作更轻松。稀疏性是一种性能优化技巧，有机会就应该采用。

CUDA Mode 社区

最后，我决定压轴介绍的是cuda-mode。他们有自己的GitHub、YouTube频道和Discord服务器。这里包含的很多材料都超出了我的课程范围。我的课程更偏向视频辅助，但cuda-mode背后的社区非常棒。这里有真正优秀的工程师和研究人员，不断构建酷炫的东西，社区成员也非常活跃。这是一个绝佳的地方，我绝对推荐你去看看。他们有很多章节，例如Flash Attention、Cutlass、Triton、BEED Kernels、数据处理、张量核心等等。我推荐你加入他们的Discord服务器，你可以在这里找到。里面有很多很酷的小组，例如#beginners频道。超级活跃，比如今天的最后一条消息甚至是几小时前发布的，而这只是一个频道。往下翻，最后一条消息可能就在一小时前。

本节课中我们一起学习了CUDA编程课程的总结与进阶方向。我们回顾了量化、张量核心和稀疏性等高级优化概念，并介绍了《CUDA by Example》、分布式训练文章、MNIST CUDA、Micrograd CUDA、GPU Puzzles以及活跃的CUDA Mode社区等宝贵的学习资源和实践项目。希望这些内容能为你继续探索高性能GPU计算世界提供坚实的基础和明确的方向。