ST-GCN骨骼动作识别实战：图卷积时空建模与工程实现

简介：人体动作识别是计算机视觉中的核心任务，但传统RGB视频易受光照、背景和穿着干扰，而骨骼关键点数据因保留人体结构信息且鲁棒性更强，逐渐成为动作识别的主流输入。图卷积网络（GCN）能将卷积操作从规则网格推广到非欧几里得空间，通过对骨骼图进行空间拓扑建模与时间维度动态捕捉，实现高效的时空特征学习。ST-GCN（时空图卷积网络）正是这一方向的代表性模型，在动作识别、姿态估计、人机交互等场景中具有广泛应用价值。本文从ST-GCN的原理出发，详细解析图卷积的分区策略、时空建模机制，并给出基于PyTorch的工程实现、数据预处理及训练调参经验，帮助你从零完成一个可运行的骨骼动作识别系统。

1. 项目整体设计与思路拆解

做这个项目的时候，我首先想清楚了一件事：动作识别这个方向，为什么这两年大家都往骨骼数据上靠？原因其实很朴素——RGB视频受光照、背景、穿衣风格影响太大，同一个动作换个环境，像素层面的差异可能比不同动作之间的差异还大。而骨骼关节点数据天然剔除了这些干扰，只保留人体骨架结构本身，加上现代姿态估计算法（比如OpenPose、MediaPipe）已经能把关键点坐标提得相当准，骨骼动作识别这条技术路线的性价比就凸显出来了。

ST-GCN这个名字，拆开看就是Spatial Temporal Graph Convolutional Networks，时空图卷积网络。它解决的核心问题，是把原本适用于规则网格数据的卷积操作，推广到非欧几里得空间的人体骨骼图上。对于毕设场景来说，这个项目最大的优势是“下限高、上限也高”：网上公开的源码和预训练模型比较多，入门门槛相对友好；但真要把它吃透，涉及的图卷积理论、时序建模、数据增强、模型部署，每一块都能挖出不少深度，非常适合作为毕业论文的选题。

1.1 核心需求解析

从毕设需求出发，这个项目要解决这么几个问题：

• 输入：一段视频或一个序列的骨骼关键点坐标，通常是每帧N个人的M个关节点的(x, y, z)坐标，外加置信度。
• 输出：这段动作属于哪个类别，比如“挥手”“走路”“跌倒”“打拳”等等。
• 核心难点：怎么在空间维度上建模关节点之间的依赖关系，又怎么在时间维度上捕捉动作的动态变化，同时还要兼顾多人场景的干扰。

ST-GCN的思路很直接：把每一帧的骨骼关节点看成图上的节点，骨路连接关系看成边，用图卷积聚合邻居节点的信息；然后把多个帧堆叠起来，用时序卷积建模动作在时间维度的演变。整个网络是端到端训练的，不需要手动设计特征。

1.2 方案选型与对比

我也对比过其他方案，这里把经验整理出来供参考：

ST-GCN在学术界的地位很稳，从2018年提出到现在，一直是被引用最多的骨架动作识别方法之一。它好懂、好改、好出实验对比，这三个“好”对毕设来说太重要了。

1.3 毕设场景下的工程考量

毕设跟企业项目不一样，核心目标是“把原理讲清楚 + 把系统跑起来 + 有实验结果支撑”。所以我做的第一个决定是：不自己造轮子，站在开源社区的肩膀上二次开发。具体来说，参考了OpenMMLab的mmaction2实现和原论文作者的官方代码，但并没有直接拿来就用，而是把核心模块抽出来重新组织了一遍，让代码结构更清晰，方便论文里画框图、写伪代码。

第二个决定是：提前定好数据集的规模。NTU-RGB+D这个数据集有6万多个样本，全量训练在单卡上要跑很久。我的做法是先用小的子集跑通整个流程，确认代码逻辑没问题，再上全量数据训练。这个习惯帮我省了很多排错时间，后面会详细说。

2. ST-GCN核心原理深度解析

很多人学ST-GCN卡在“图卷积”这三个字上。我用自己的话把它说明白。

2.1 从普通卷积到图卷积

图像卷积做的事情，是拿一个3×3或者5×5的卷积核，在像素网格上滑动，把相邻像素的信息加权求和，更新中心像素的值。这要求数据必须排列在规则的网格上，每个像素的邻居数量和相对位置都是固定的。

但人体骨骼不是这样。肩关节的邻居是脖子和手肘，手肘的邻居是肩和手腕，每个节点的邻居数量不一样，节点之间也没有固定的“上下左右”。这时候标准卷积就失效了。

图卷积的思路是：既然我不好定义“卷积核滑动”的规则，干脆直接按图的结构聚合邻居信息。公式长这样：

[ f_{out} = \Lambda^{-\frac{1}{2}} (A + I) \Lambda^{-\frac{1}{2}} f_{in} W ]

看着复杂，其实就是三步：

1. 加一个自环矩阵，让节点在聚合邻居时也能保留自身的信息。这个操作非常关键，不加的话深层网络容易丢原始特征。
2. 对邻接矩阵做对称归一化，用度矩阵的-1/2次方去乘。这一步是为了防止度数高的节点特征被放大、度数低的节点被稀释，实际效果就是让每个节点的聚合尺度一致。
3. 乘一个可学习的权重矩阵W，这相当于普通卷积里的卷积核参数。

2.2 骨骼图构建与分区策略

ST-GCN的作者在原始论文里做了两件事：一是采用OpenPose定义的18个关键点坐标系，二是提出了三种划分邻域的策略。

实际训练中，默认用Spatial Configuration。它把邻居节点分成三组：根节点自己、比根节点更靠近重心的节点（向心）、比根节点更远离重心的节点（离心）。这样图卷积的每个输出通道，实际上是三个子图的卷积结果拼起来的，增强了网络对空间模式的表达能力。

二维骨骼关键点在OpenPose中是(x, y)，若用三维数据则是(x, y, z)，ST-GCN理论上都能处理，主要是因为图卷积只看连接关系，不看坐标维度。这意味着你从NTU-RGB+D拿到的3D关节点坐标，和从Kinetics-2D拿到的2D坐标，在实现上唯一要改的就是输入通道数。

2.3 时空建模：图卷积+时序卷积

光有空间建模不够，动作是动态的，同一个关节在不同帧之间的运动轨迹才构成“动作”。ST-GCN的做法是：

• 空间维度：每一帧内部做图卷积，聚合同一帧内相邻关节点的信息。
• 时间维度：跨帧在同一个关节点的序列上做一维卷积，捕捉关节的运动模式。

原文用的是K×1的卷积核，K是时间卷积核大小（默认9），在时间维度上按帧滑动。这里有个技巧：为了保证时间维度的分辨率不变，通常会padding到“长度+2×(K//2)”，保证输出序列长度和输入一致。

整个网络是由多个ST-GCN块堆叠而成，每个块内部结构是：

输入 -> BatchNorm -> 时空图卷积 -> 残差连接 -> ReLU -> Dropout -> 输出

残差连接在深层网络里特别重要，ST-GCN有9个块，没有残差的话梯度根本传不回去。我实测过，去掉残差连接之后，训练loss下降速度明显变慢，最终精度掉了将近8个百分点。

3. 环境搭建与数据准备

这部分看着基础，实际上坑最多。我把从零到能跑通训练的全过程整理一下。

3.1 PyTorch环境搭建

我用的组合是Python 3.9 + PyTorch 2.0 + CUDA 11.8，这个组合在2023年之后非常稳定。如果你是新手，用下面的命令快速装好：

# 创建虚拟环境，避免污染系统Python conda create -n stgcn python=3.9 conda activate stgcn # 安装PyTorch，这里用清华源会快很多 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 安装其他依赖 pip install numpy scipy einops tensorboard opencv-python tqdm

注意：PyTorch 1.x和2.x在API上虽然基本兼容，但ST-GCN原版代码里有些写法（比如th.nn.functional.conv2d的group参数用法）在新版本上会告警。如果跑官方源码报RuntimeError: Expected 4D input，多半是通道维度和维度顺序的问题，后面问题排查里细说。

我当时还装了一个CUDA Check脚本，用来确认PyTorch能否正确调用GPU：

import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))

如果torch.cuda.is_available()返回False，别急着重装，先检查驱动版本和CUDA版本的匹配关系。nvidia-smi显示的是驱动支持的CUDA最高版本，只要这个版本高于你装的CUDA Runtime版本就没问题。

3.2 数据集选择与处理

ST-GCN早期最常用的两个数据集是Kinetics-Skeleton和NTU-RGB+D。Kinetics数据量大、类别多，但骨骼坐标是由OpenPose从视频上提取的，存在一定的噪声；NTU-RGB+D是Kinect传感器采集的3D数据，有40个受试者、60类动作、两个场景，最早用的人最多。NTU提供了两个官方评测协议：

• Cross-Subject (X-Sub)：按人物ID划分训练集和测试集，考察模型的泛化能力。
• Cross-View (X-View)：按摄像头视角划分，训练集用视角1的序列，测试集用视角2/3的序列。

毕设的话我强烈建议用NTU-RGB+D的X-Sub协议，因为它的任务定义清晰、评测指标公认，写论文时能直接和别人的结果对比。你只需要在数据准备阶段把每个样本的标注文件解析成统一格式即可。

数据格式上，ST-GCN的输入是一个五维张量，形状是：

(N, C, T, V, M)

• N：batch size
• C：通道数，2D骨骼是2（x, y），3D骨骼是3（x, y, z）
• T：关键帧的数量，也就是时间序列长度
• V：单个人体关节数量，NTU是25个，Kinetics用OpenPose是18个
• M：一帧中的最大人数，一般取2

这个张量顺序是ST-GCN代码里的硬编码约定，改起来非常麻烦。我建议不要随意调换顺序，否则后续所有reshape操作都要改。

3.3 数据预处理与加载器实现

预处理是整个工程里最容易被低估的一环。直接拿原始坐标训练，loss居高不下，原因很简单：不同人的身高、体型、离摄像头的距离都不一样，导致坐标尺度差异巨大。

我采用了这些预处理手段，每一步都有明确目的：

1. 去中心化：减去人体骨架重心（mean position），让整个骨架居中。这个操作能消除位置偏移对分类的影响。
2. 尺度归一化：除以骨架尺度（比如两肩间距或者髋部宽度）。这能把不同身材的比例差异拉齐。
3. 时间对齐：用线性插值把所有样本的时间长度统一到T=300帧。因为不同视频里同一个动作的速度不一样，帧数自然不一样；如果不统一，batch训练时没法对齐。

我用PyTorch的Dataset + DataLoader来组织数据流，核心代码如下：

class SkeletonDataset(Dataset): def __init__(self, data_npy, label_npy, num_frames=300): # data_npy: (N, C, T, V, M) 形状的numpy数组 # label_npy: (N,) 形状的标注 self.data = torch.FloatTensor(data_npy) self.label = torch.LongTensor(label_npy) self.num_frames = num_frames def __len__(self): return len(self.label) def __getitem__(self, idx): x = self.data[idx] # (C, T, V, M) # 时间维对齐 if x.shape[1] != self.num_frames: x = self._temporal_resample(x, self.num_frames) label = self.label[idx] return x, label def _temporal_resample(self, x, target_len): # 线性插值到目标长度 C, T, V, M = x.shape x = x.permute(0, 2, 3, 1).reshape(-1, T) # (C*V*M, T) x = F.interpolate(x.unsqueeze(0), size=target_len, mode='linear', align_corners=False) return x.squeeze(0).reshape(C, V, M, target_len).permute(0, 3, 1, 2)

特别注意：PyTorch的F.interpolate要求输入至少是3D张量（N, C, L），直接在2D张量上调用会报错。上面的代码把维度展平后再插值就是规避这个限制。这个bug我踩过，花了一个多小时才定位到。

4. 模型实现与核心代码解读

真正动手写ST-GCN的代码之前，我建议把网络的每一层输入输出维度都先用纸笔推一遍，尤其是不同分区策略下邻接矩阵的构造。这部分我结合自己的实现来讲。

4.1 图卷积层实现

图卷积层的输入是形状为(N, C, T, V)的特征，其中V是节点数。要实现“按分区策略分组聚合”的逻辑，关键是把邻接矩阵扩展成多个子矩阵，每个子矩阵对应一种分组。

class GraphConv(nn.Module): def __init__(self, in_channels, out_channels, A, stride=1, padding=0, dilation=1): super().__init__() self.P = A.size(0) # 分区数 self.conv = nn.Conv2d( in_channels, out_channels * self.P, kernel_size=(1, 1), stride=(1, stride), padding=(0, padding), dilation=(1, dilation) ) self.A = nn.Parameter(A, requires_grad=False) # 不参与梯度更新 self.bn = nn.BatchNorm2d(out_channels) self.relu = nn.ReLU(inplace=True) def forward(self, x): N, C, T, V = x.shape x = self.conv(x) # (N, out_channels * P, T, V) x = x.view(N, -1, self.P, T, V) # 拆出分区维度 x = torch.einsum('ncpdv,pvw->ncdw', x, self.A) x = x.contiguous().view(N, -1, T, V) return self.relu(self.bn(x))

torch.einsum这一行是图卷积的精髓，它做的事情是把每个分区的输出特征，按照对应的邻接子矩阵加权聚合。self.A是一个用于记录分区策略的权重矩阵，它的形状通常是(P, V, V)，P是分区数，V是节点数。

4.2 时空图卷积块

有了图卷积层，我们把它和时序卷积拼起来，就是一个完整的时空卷积块：

class STGCNBlock(nn.Module): def __init__(self, in_channels, out_channels, A, stride=1, kernel_size=9): super().__init__() self.gcn = GraphConv(in_channels, out_channels, A, stride=stride) self.tcn = nn.Sequential( nn.BatchNorm2d(out_channels), nn.ReLU(inplace=True), nn.Conv2d( out_channels, out_channels, kernel_size=(kernel_size, 1), stride=(1, 1), padding=(kernel_size // 2, 0) ), nn.BatchNorm2d(out_channels), ) if stride != 1 or in_channels != out_channels: self.residual = nn.Sequential( nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=(stride, 1)), nn.BatchNorm2d(out_channels) ) else: self.residual = nn.Identity() def forward(self, x): res = self.residual(x) x = self.gcn(x) x = self.tcn(x) return x + res

注意这里的stride参数：ST-GCN网络越到深层，时间维度的分辨率会逐渐减半（max-pooling或stride=2的卷积），而空间维度V不变。所以residual模块里，通道数变化和时间维stride=2时必须做适配。我把这个细节单独拎出来说，是因为很多人复现的时候在这里栽跟头——残差分支没处理好会导致维度不匹配的RuntimeError。

4.3 网络主体与torch.einsum的便利

ST-GCN的完整网络就是九个STGCNBlock串起来，通道数依次是64、64、64、128、128、128、256、256、256，每个阶段后接一个时间维stride=2的下采样。最后经过全局平均池化和全连接层输出类别logits。

我用torch.einsum来实现图卷积矩阵乘法，而不是直接用torch.matmul，原因有两个：

1. einsum的表达式直观，论文里的公式长什么样，代码就长什么样，方便在论文里贴代码。
2. einsum会自动处理batch维度，不需要手动unsqueeze和permute，能少写不少容易出错的reshape。

不过用einsum有个性能注意点：torch.einsum在部分GPU上可能没有matmul优化得好。如果你的训练速度异常慢，可以试试：

# 等价于上面的einsum，但显式用matmul x = torch.matmul(x.permute(0, 2, 3, 1), A.permute(0, 2, 1)).permute(0, 3, 1, 2)

我在一张1080Ti上实测，matmul版本比einsum快约10%。数据量小的时候差距不明显，NTU全量训练时就能省不少时间。

5. 训练调参与效果优化

网络结构搭好之后，真正的硬骨头是训练。我在这里分享一些实测下来的经验。

5.1 超参数配置

不少初学者对SGD配0.1的学习率有疑问，觉得既然Adam默认lr=0.001，SGD的0.1是不是太大了。但实际上动作识别任务的批量比较大，配合BN和weight_decay，SGD用0.1是标准操作。我做过对比实验，在NTU-X-Sub上SGD的top-1准确率比Adam高2~3个点。

5.2 训练策略细节

• 梯度裁剪：torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=10)。ST-GCN早期训练阶段，可能出现个别样本的梯度爆炸，加上裁剪能提高训练稳定性。
• 数据增强：随机旋转（±15度）、随机缩放（0.9~1.1）、随机时间裁剪/拉伸、随机mask掉一部分关节。这些增强手段能有效缓解过拟合，我最后把增强全部打开之后，测试集准确率涨了3个百分点左右。
• 标签平滑：把one-hot标签改成(1 - epsilon) * one_hot + epsilon / num_classes，epsilon取0.1。这个技巧能提升泛化能力，尤其是在类别数较多（比如NTU的60类）的时候。

5.3 效果评估和可视化

我自己习惯在测试集上看三个指标：top-1 accuracy、top-5 accuracy、混淆矩阵。top-1能反映整体精度，top-5能看出模型对易混淆类别的判别能力，混淆矩阵则能帮我们发现“哪两类动作经常被分错”。

可视化的一个常见做法是把网络中间层的特征图或attention map叠到原视频上，可以看到模型在做预测时“看”的是哪些关节。我后来把这个可视化做了出来，效果还挺直观的：

import matplotlib.pyplot as plt def visualize_skeleton(sequence, label, pred, save_path): # sequence: (C, T, V) fig, ax = plt.subplots(1, 1, figsize=(8, 8)) ax.scatter(sequence[0, 0, :], sequence[1, 0, :], c='r', s=50) ax.set_title(f'True: {label}, Pred: {pred}') plt.savefig(save_path) plt.close()

这个可视化模块对论文里的“discussion”章节帮助很大，一张好的可视化图能让评审老师直接get你模型的解释性。我建议大家都花点时间做出来。

5.4 一个更容易调的小改进：注意力机制

我后来在ST-GCN基础上加了一个简单高效的模块——通道注意力（SE-block），作用是在每个ST-GCN块之后，对特征图的通道维重新加权。这个模块代码量很少，但效果不错：

class SELayer(nn.Module): def __init__(self, channels, reduction=16): super().__init__() self.fc = nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(channels, channels // reduction, kernel_size=1), nn.ReLU(inplace=True), nn.Conv2d(channels // reduction, channels, kernel_size=1), nn.Sigmoid() ) def forward(self, x): w = self.fc(x) return x * w

加上这个模块之后，在NTU-X-Sub上我的top-1精度从85.1%提升到了86.5%左右，训练成本几乎没有增加。写论文的时候还能强调“提出了一种改进的注意力增强ST-GCN结构”，提升了工作量，也更容易讲出故事来。

6. 常见问题与排查技巧实录

这里汇总一下我在实现和训练过程中遇到的高频问题。这些问题属于网上资料不太容易查到的，我全整理出来。

6.1 数据加载与维度匹配问题

问题1：训练时报错Expected 4D input as input

这个错误十有八九发生在nn.Conv2d接收到3D输入的时候。ST-GCN的输入是5D张量，图卷积层内部要把它当4D张量处理。排查方法是：

print(x.shape) # 期望输出: torch.Size([N, C, T, V])

如果shape不对，检查是不是在前面的permute或view操作时把维度顺序搞错了。

问题2：torch.einsum报dimension mismatch

原因通常是邻接矩阵的V和你输入特征里的V不一致。比如你用的是Kinetics的18关节模型，但数据却是NTU的25关节格式。建议在训练脚本里加一行断言：

assert A.shape[-1] == V, f"邻接矩阵节点数 {A.shape[-1]} 与输入节点数 {V} 不一致"

6.2 训练不收敛与过拟合问题

现象1：loss一直下降但acc不动

这种情况大概率是数据加载的label顺序和data顺序不一致。我遇到过一版代码，shuffle=True时DataLoader把数据和标签分别shuffle了（因为用了两个数据集对象没同步索引），导致模型看到的是随机配对的输入输出。正确的做法是让Dataset在同一个索引下返回data和label。

现象2：训练集acc很高但验证集acc很低

典型的过拟合。处理方法优先级排序：

1. 增加数据增强强度（旋转、缩放、随机mask）。
2. 加大weight_decay（从1e-4调到5e-4）。
3. 使用Dropout（在时序卷积后面加，rate=0.5）。
4. 降低模型容量（把通道数从64/128/256换成48/96/192）。

现象3：loss出现NaN

一般原因有学习率过大、某个样本存在NaN坐标、梯度爆炸。先检查数据里有没有NaN值，再检查梯度裁剪是否生效。如果是数据中的NaN，直接过滤掉或者用前后帧的均值填充。

6.3 GPU显存不足与推理速度优化

NVIDIA 1080Ti（11GB显存）在NTU上跑batch_size=64没有压力，但如果你用的是8GB显存的GPU，建议先降batch_size到32。batch_size翻倍带来的精度提升有限，但显存占用是线性的。

推理阶段想要提速，可以用半精度推理：

model = model.half() x = x.half() with torch.no_grad(): pred = model(x).float()

在1080Ti上实测，FP16推理比FP32快将近1.8倍，精度损失在0.1%以内。前提是注意输入数据也要转成half类型，否则会报类型不匹配。

6.4 环境与运行时问题速查表

6.5 一个非常容易踩的坑：固定随机种子

在训练开始时加这么一段，能在复现实验时省下大量时间：

import random import numpy as np import torch def set_seed(seed=42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic = True torch.backends.cudnn.benchmark = False

很多同学写论文时想复现自己之前的实验结果，结果发现两次训练的精度差了1~2个百分点，大概率就是没固定随机种子。这个问题越早处理越好，别等实验做完才想回头补。

7. 一点个人的实操体会

最后分享一个我在这类毕设项目里摸索出来的小建议：课程设计或者毕业设计，最重要的不只是把代码跑通，而是要把思路理清楚、把工程链路的每个环节都弄明白。

我在做ST-GCN之前，也是从对着论文看公式，到一步步复现代码，再到最终训练出可用模型的完整过程。如果你打算把这个项目作为毕业设计，建议在时间上至少留出两周专门跑实验、调超参数，因为你永远预估不到中途会遇到多少环境问题、代码bug和意料之外的数据情况。模型最终达到的精度并不需要是学术界最顶尖的，只要能在实验对比中清晰呈现，论文的“研究深度”这一项就基本稳妥了。

我个人的体会是，ST-GCN这类图神经网络项目，最大的学习价值不在于“会用这个模型”，而在于它帮你把“从论文到代码再到系统”的完整链路走了一遍。中间踩过的每一个坑，最后都会变成你在答辩时从容应对问题的底气。

本文还有配套的精品资源，点击获取