保姆级教程：用NTU RGB+D 120数据集快速上手骨架行为识别（附完整动作标签清单）

从零构建骨架行为识别模型：NTU RGB+D 120实战指南

第一次打开NTU RGB+D 120数据集时，我盯着那120个动作标签和数千个.skeleton文件发了半小时呆——骨架数据像一团乱麻，不知从哪根线头开始梳理。这份指南正是为了解决这个痛点而生。不同于单纯罗列标签的百科式介绍，我们将用PyTorch Lightning构建一个真实的ST-GCN模型，从数据加载到可视化预测全程实战，过程中你会掌握处理骨架数据的核心方法论。

1. 数据准备与环境搭建

在开始建模前，我们需要先理解NTU RGB+D 120的数据组织结构。这个包含114,480个样本的数据集，每个样本都包含25个关节点坐标的时序序列。下载后的文件结构通常如下：

NTU_RGBD_120 ├── nturgb+d_skeletons │ ├── S001C001P001R001A001.skeleton │ ├── S001C001P001R001A002.skeleton │ └── ... └── NTU_RGBD120_samples.zip

关键文件命名规则解析：

• Sxxx: 受试者ID (1-106)
• Cxxx: 摄像头编号 (1-32)
• Pxxx: 场景编号 (1-3)
• Rxxx: 重复次数 (1-2)
• Axxx: 动作类别 (1-120)

推荐使用conda创建隔离环境：

conda create -n skeleton python=3.8 conda activate skeleton pip install pytorch-lightning torch-geometric open3d tqdm

注意：安装torch-geometric时需要匹配PyTorch和CUDA版本，官方文档提供了详细的版本对照表

2. 骨架数据解析与预处理

.skeleton文件采用自定义文本格式存储，每个文件包含：

1. 帧数 (如20表示20帧)
2. 每帧的25个关节点信息，包含：
   • 3D坐标 (x,y,z)
   • 旋转四元数 (qx,qy,qz,qw)
   • 2D RGB坐标 (u,v)
   • 深度图坐标 (d)

以下是Python解析代码示例：

def load_skeleton(file_path): with open(file_path, 'r') as f: frames = int(f.readline()) data = [] for _ in range(frames): body_info = f.readline().split() body_count = int(body_info[0]) frame_data = [] for _ in range(body_count): joints = [] joint_count = int(f.readline()) for _ in range(joint_count): joint = list(map(float, f.readline().split())) joints.append(joint[:3]) # 只取xyz坐标 frame_data.append(joints) data.append(np.array(frame_data)) return np.array(data) # shape: (frames, bodies, joints, 3)

常见预处理步骤：

1. 归一化处理：以髋关节为原点，各关节坐标相对化
2. 帧对齐：通过线性插值统一为60帧
3. 去噪：使用滑动窗口平滑关节轨迹
4. 数据增强：随机时间扭曲、空间旋转

3. 构建ST-GCN模型

时空图卷积网络(ST-GCN)是处理骨架数据的经典架构，其核心是将人体关节视为图节点，骨骼作为边，在时空两个维度进行卷积。下面是PyTorch Lightning的实现：

import torch import torch.nn as nn import torch_geometric.nn as geom_nn class STGCNBlock(nn.Module): def __init__(self, in_channels, out_channels, stride=1): super().__init__() self.conv1 = geom_nn.STConv( in_channels, out_channels, kernel_size=(3, 3), stride=stride ) self.bn1 = nn.BatchNorm1d(out_channels) self.conv2 = geom_nn.STConv( out_channels, out_channels, kernel_size=(3, 3), stride=1 ) self.bn2 = nn.BatchNorm1d(out_channels) def forward(self, x, edge_index): residual = x x = F.relu(self.bn1(self.conv1(x, edge_index))) x = self.bn2(self.conv2(x, edge_index)) return F.relu(x + residual) class SkeletonGNN(pl.LightningModule): def __init__(self, num_classes=120): super().__init__() self.edge_index = self._build_topology() self.block1 = STGCNBlock(3, 64) self.block2 = STGCNBlock(64, 128, stride=2) self.fc = nn.Linear(128, num_classes) def _build_topology(self): # 定义人体骨骼连接关系 return torch.tensor([ [0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24], [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,0] ], dtype=torch.long) def forward(self, x): # x shape: (batch, frames, joints, 3) x = x.permute(0,3,1,2) # (batch, 3, frames, joints) x = self.block1(x, self.edge_index) x = self.block2(x, self.edge_index) return self.fc(x.mean(dim=[2,3]))

训练时的关键技巧：

• 使用CosineAnnealingLR学习率调度
• 对A1-A60和A61-A120分别做类别平衡采样
• 添加梯度裁剪防止爆炸

4. 训练监控与结果可视化

训练过程中需要监控的指标：

可视化工具推荐：

1. Open3D：实时渲染3D骨架动画

   def visualize_skeleton(joints): lines = [[0,1],[1,2],[2,3],[3,4],...] # 骨骼连接关系 colors = [[1,0,0] for _ in range(len(lines))] line_set = o3d.geometry.LineSet() line_set.points = o3d.utility.Vector3dVector(joints) line_set.lines = o3d.utility.Vector2iVector(lines) line_set.colors = o3d.utility.Vector3dVector(colors) o3d.visualization.draw_geometries([line_set])

2. TensorBoard：记录训练曲线和嵌入可视化

   def log_embeddings(self, x, y): self.logger.experiment.add_embedding( x, metadata=y, label_img=self._generate_skeleton_images(x) )

5. 实战技巧与性能优化

经过多次实验，总结出以下提升模型表现的技巧：

数据层面：

• 对A61-A120动作（新增类别）使用2倍采样权重
• 对"falling"(A43)等稀有动作添加随机复制
• 使用TimeWarp增强时序不变性

模型层面：

# 改进的ST-GCN结构 class EnhancedSTGCN(STGCN): def __init__(self): self.attention = nn.Sequential( nn.Linear(25, 64), nn.ReLU(), nn.Linear(64, 25), nn.Softmax(dim=-1) ) def forward(self, x): attn = self.attention(x.mean(dim=2)) # 关节注意力权重 x = x * attn.unsqueeze(-1).unsqueeze(1) return super().forward(x)

训练加速技巧：

1. 使用DDP策略进行多GPU训练
2. 开启cudnn.benchmark = True
3. 对.skeleton文件进行预解析并存储为.pt格式

在RTX 3090上的性能对比：

6. 标签系统与错误分析

完整的120个动作可分为6个大类：

1. 日常动作(A1-A30)：如喝水、刷牙
2. 健康相关(A31-A49)：如头痛、咳嗽
3. 双人交互(A50-A60, A106-A120)：如拥抱、击掌
4. 运动相关(A63-A66, A99-A102)：如投篮、踢腿
5. 物体操作(A73-A79, A91-A92)：如数钱、开瓶
6. 表情手势(A67-A72, A93-A98)：如竖拇指、打哈欠

常见混淆动作对：

• "擦脸"(A37) vs "抹化妆品"(A85)
• "捡东西"(A6) vs "系鞋带"(A16)
• "挥手"(A23) vs "指挥交通"(A40)

解决方案：

# 在损失函数中添加类别权重 class_weight = torch.tensor([1.0] * 60 + [1.5] * 60) # 对新类别加权 criterion = nn.CrossEntropyLoss(weight=class_weight)

7. 部署与生产化建议

当模型达到满意精度后，可以考虑以下部署方案：

方案对比表：

优化后的推理代码示例：

def predict_stream(skeleton_stream): preprocessed = preprocess(skeleton_stream) # (1, T, 25, 3) with torch.no_grad(): logits = model(preprocessed) return label_map[logits.argmax().item()] # 标签映射示例 label_map = { 0: "喝水", 1: "吃饭", ..., 119: "猜拳游戏" }

在实际项目中，发现三个关键点：1) 对连续预测结果做时间平滑能提升用户体验；2) 髋关节的运动轨迹往往最具判别性；3) 当检测到A43(跌倒)动作时应立即触发警报机制。