不确定性感知的运动表征学习：从足球数据到PyTorch实战

1. 背景与核心概念

1.1 从足球比赛数据到运动表征学习

近些年，足球数据分析领域逐渐从“只看比分和基础统计”转向“理解球员在场上的真实行为”。无论是跑动速度、冲刺次数、变向频率，还是无球跑位、防守选位，这些信息背后都对应一个核心问题：我们如何用机器学习模型把一段连续的人体运动转换成有意义的向量表示？

这个向量表示，被称为“运动表征”（Motion Representation）。它的目标是把原始坐标序列、姿态关键点序列或视频帧压缩成一个低维、信息密度高、便于后续任务使用的特征向量。有了好的运动表征，下游任务就变得容易很多，比如：

• 判断球员当前处于进攻、防守还是无球跑动状态。
• 预测球员下一步的移动方向。
• 检索相似跑动模式。
• 评估球员在特定战术下的跑位质量。

不过，真实世界的运动数据并不是“确定一条轨迹”那么简单。球员在场上可能面临多种选择，防守球员的跑动会受对手假动作影响，门将的扑救方向往往在最后一刻才确定。也就是说，运动数据天然带有不确定性（Uncertainty）。

1.2 为什么不确定性很重要

很多现有的运动表征学习方法，默认把运动序列映射为一个确定性的向量。模型被训练成“看到一段输入，就给一个输出向量”，而且通常用简单的回归损失或对比损失来进行优化。

但问题在于：如果一段运动本身存在多种合理的后续走向，强行让模型输出一个确定向量，模型只能学到“所有可能性的平均值”。这个平均值往往不符合任何真实结果。举个例子，防守球员面对对手变向时，他有概率向左移动，也有概率向右移动。平均值却是“原地不动”——这显然不合理。

如果把这种“糊在一起”的表征用在下游任务里，比如动作预测，模型的输出会变得模糊，置信度也缺乏参考价值。因此，在运动表征学习中显式地建模不确定性，是提升模型对真实场景适应能力的关键一步。

不确定性通常可以分成两类：

在足球场景里，偶然不确定性可能来自球员快速变向、身体遮挡、传感器噪声；认知不确定性可能来自训练数据中某种罕见战术覆盖不足。一个好的表征学习框架，应该把这两种不确定性区分开，或者至少在表征中保留这些信息。

1.3 标题中的研究问题

本文围绕的标题是“Capturing Uncertainty in Human Motion for Representation Learning in Soccer”，大家可以把它理解为一个研究任务：

在足球运动场景下，设计一种运动表征学习方法，使得模型在学习人体运动表示的过程中，能够捕捉和利用运动中的不确定性信息。

这看起来只是一句话，但落地时涉及数据设计、模型架构、损失函数、评估指标等多个环节。本文会从问题定义开始，逐步拆解模型设计思路，并提供一个基于 PyTorch 的可运行示例框架。

2. 数据与问题定义

2.1 足球运动数据的形式

足球运动数据在实际研究中通常有几种来源：

• 基于传感器的数据：球员身上佩戴 GPS 或 IMU 设备，采集位置、速度、加速度、朝向等信息。
• 基于视频的姿态数据：用姿态估计算法从比赛录像中提取球员关键点坐标，常见格式是 COCO 17 关键点或 SMPL 参数。
• 基于跟踪的数据：通过光学跟踪系统获取球员在球场坐标系中的坐标序列。

不管哪种形式，在表征学习任务中，我们通常会把数据组织成序列。假设我们处理的是关键点数据，一个样本可以表示成：

形状：[T, K, C] T：序列长度（帧数） K：关键点数量 C：关键点通道数（例如 x, y, confidence）

对于跟踪坐标数据，一个样本可以表示成：

形状：[T, 2] 或 [T, 4] T：序列长度 2：x, y 坐标 4：x, y, vx, vy（加上速度）

2.2 表征学习的任务定义

从运动序列中学习表征，典型做法是通过自监督预训练。我们不需要人工标注“进攻”“防守”，而是设计一个代理任务，让模型从大量无标签运动数据中学习通用特征。

形式化地说，给定一段输入运动序列：

X = [x_1, x_2, ..., x_T]

其中每个 x_t 是第 t 帧的运动状态，我们希望学习一个编码器：

f_theta: X -> z

这里 z 是一个 d 维向量，也就是运动表征。如果模型还能进一步输出 z 的不确定性估计，比如方差 sigma，那么模型就是一个不确定性感知的表征学习器。

2.3 为什么选择足球场景

足球场景对运动表征学习的挑战非常大，也特别适合研究不确定性：

• 动作模式多样：跑、走、跳、铲球、头球、变速变向，动作种类远多于日常活动。
• 交互关系复杂：球员与对手、队友、球之间存在复杂的相互影响。
• 预测是多模态的：同样的情况下，不同球员可能做出不同选择。
• 数据存在噪声：视频遮挡、传感器丢帧、姿态估计误差都是常态。

这些问题叠加在一起，导致确定性模型很难建立好的表征。而如果把不确定性直接建模进去，模型不仅能够给出一个特征向量，还能告诉下游任务：“我对这次预测的把握有多大”。

3. 不确定性建模的核心思路

3.1 确定性表征 vs 概率表征

传统运动表征学习框架可以抽象成这样一个流程：

输入序列 X -> 编码器 -> 向量 z -> 下游任务

不确定性感知的表征学习框架则是：

输入序列 X -> 编码器 -> 分布参数（均值 mu，方差 sigma）-> 采样/期望 -> 下游任务

在这种框架下，模型不再直接输出一个向量 z，而是输出一个概率分布。最常用的做法是假设表征服从一个各维度独立的高斯分布：

q(z | X) = N(z | mu(X), sigma(X))

其中 mu(X) 是编码器输出的均值向量，sigma(X) 是编码器输出的方差向量。

这样做有三个好处：

1. 模型可以表达“这段运动有多种可能解释”。
2. 在训练过程中可以通过重参数化技巧进行采样，让梯度正常回传。
3. 方差可以天然地作为下游任务的置信度信息。

3.2 方差加权的损失函数

在表征学习中，如何把不确定性引入损失函数是一个关键问题。

如果采用对比学习框架，标准的 InfoNCE 损失会计算两个样本之间的相似度。当输入运动序列本身存在较大随机性时，我们可以用预测的不确定性来对相似度进行加权。

再比如，如果采用预测式框架，让模型从过去一段运动预测未来一段运动，那么损失函数可以写成方差加权形式：

L = sum_t [ ( (y_t - mu_t)^2 / (2 * sigma_t^2) ) + (1/2) * log(sigma_t^2) ]

其中 y_t 是未来时刻的真实坐标，mu_t 是模型预测的均值，sigma_t 是模型预测的不确定性。

这个损失函数的含义是：

• 当预测误差较大但模型同时输出了较大的方差时，损失不会过高。
• 当模型对某个时刻很有把握（方差小），但预测错了，损失会被放大。
• log(sigma_t^2) 这一项是正则项，防止模型把所有输出都设为很大的方差从而“偷懒”。

换句话说，这个损失函数迫使模型真正学会自己判断：哪些时刻的运动是容易预测的，哪些时刻是多模态、不确定的。

3.3 隐空间中的不确定性建模

除了在输出空间建模不确定性，还有一种思路是在隐空间（latent space）中建模不确定性。

这种方法非常像变分自编码器（VAE）的思路。编码器不再直接输出表征向量 z，而是输出后验分布的参数：

mu, log_var = Encoder(X)

然后通过重参数化采样：

z = mu + eps * exp(0.5 * log_var)

其中 eps 服从标准正态分布。

在实际训练中，log_var 通常会被限制在一个合理范围内，比如 [-10, 10]，避免指数运算溢出。同时在损失函数中，我们通常会增加一个 KL 散度项，让后验分布不要偏离先验分布太远。

4. 模型架构设计与实现

4.1 总体架构

一个适用于足球运动表征学习的不确定性感知模型，可以设计成下面这种结构：

输入序列 (B, T, K, C) | v 时间卷积 / GRU / Transformer 编码器 | v 全局池化 + 特征映射 | v +-------------------+-------------------+ | | | v v v 均值头 方差头 辅助分类/预测头 mu log_var 可选

其中：

• 编码器负责从输入序列中提取时序特征。
• 均值头输出表征向量 mu。
• 方差头输出不确定性估计 log_var。
• 辅助头可以根据代理任务不同而选择是否添加。

4.2 骨干编码器选型

针对足球运动序列，骨干网络可以有以下几种选择：

在起步阶段，推荐用 GRU 或 1D CNN 搭建 baseline。原因很简单：足球运动序列节奏快、模式较固定，且早期研究中数据量通常不足以完全发挥 Transformer 的优势。后续如果数据量足够，再平滑迁移到 Transformer 结构。

4.3 输入特征处理

在把数据送入模型之前，需要做一些特征处理：

• 归一化：关键点坐标需要减去中心点（比如髋部中心），再除以尺度因子。
• 速度特征：除了 x，y 坐标，最好加入帧间差分得到速度 vx，vy。
• 掩码处理：对于目标检测丢失的帧，使用时间掩码标记。
• 数据增强：加入轻微的轨迹扰动，模拟传感器噪声，提升模型的鲁棒性。

4.4 输出头设计

均值头可以用一个简单的 MLP：

特征 h -> Linear(d, d) -> ReLU -> Linear(d, feat_dim) -> mu

方差头类似，但最后一层激活函数需要注意。一般预测 log_var 而不是直接预测 sigma，这样数值更稳定：

特征 h -> Linear(d, d) -> ReLU -> Linear(d, feat_dim) -> log_var

如果使用方差加权损失，不需要对 log_var 做额外约束。如果使用采样表征，通常把 log_var 限制在 [-10, 10]。

5. 核心代码实战：PyTorch 实现

下面给出一个可运行的示例框架。这段代码的核心目的不是达到最佳性能，而是为了让读者快速理解“不确定性感知的运动表征学习”是怎么落地的。

5.1 项目结构

建议按下面的目录组织项目：

soccer_motion_uncertainty/ ├── config.py ├── dataset.py ├── model.py ├── train.py └── evaluate.py

5.2 模型定义

# 文件路径：model.py import torch import torch.nn as nn import torch.nn.functional as F class MotionEncoder(nn.Module): """ 基于 GRU 的运动序列编码器 输入形状: (B, T, K*C) 输出形状: (B, hidden_dim) """ def __init__(self, input_dim, hidden_dim=256, num_layers=2, dropout=0.1): super().__init__() self.gru = nn.GRU( input_size=input_dim, hidden_size=hidden_dim, num_layers=num_layers, batch_first=True, dropout=dropout, ) self.fc = nn.Sequential( nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Dropout(dropout), ) def forward(self, x): # x: (B, T, input_dim) output, hidden = self.gru(x) # output: (B, T, hidden_dim) # 取最后一个时刻的 hidden state last_hidden = hidden[-1] # (B, hidden_dim) feat = self.fc(last_hidden) return feat class UncertaintyAwareMotionModel(nn.Module): """ 不确定性感知运动表征模型 输入: 运动序列 输出: 均值向量 mu, 方差对数 log_var """ def __init__(self, input_dim, feat_dim=128, hidden_dim=256): super().__init__() self.encoder = MotionEncoder(input_dim, hidden_dim=hidden_dim) self.mu_head = nn.Linear(hidden_dim, feat_dim) self.log_var_head = nn.Linear(hidden_dim, feat_dim) def forward(self, x): feat = self.encoder(x) mu = self.mu_head(feat) log_var = self.log_var_head(feat) # 限制 log_var 范围，防止数值不稳定 log_var = torch.clamp(log_var, min=-10.0, max=10.0) return mu, log_var def reparameterize(self, mu, log_var): """ 重参数化采样，用于训练过程中生成表征样本 """ std = torch.exp(0.5 * log_var) eps = torch.randn_like(std) return mu + eps * std

这里需要说明几个设计点：

• 使用 GRU 的hidden[-1]取最后一层、最后一个时刻的输出，这是序列建模中非常常见的做法。
• log_var被限制在[-10, 10]，对应的标准差范围大约是[0.0067, 148.4]，既能表达极端不确定，也不会数值溢出。
• 重参数化模块保留了不确定性感知训练的可能性。

5.3 数据加载示例

这里以足球运动员的轨迹坐标数据为例。假设我们有一个 CSV 文件，每一行是某个球员某一帧的 x、y 坐标和一个样本 id。

# 文件路径：dataset.py import torch import pandas as pd import numpy as np from torch.utils.data import Dataset, DataLoader class SoccerTrajectoryDataset(Dataset): """ 足球轨迹数据集 每条样本是一段长度为 T 的轨迹 """ def __init__(self, csv_path, seq_len=30): self.df = pd.read_csv(csv_path) self.seq_len = seq_len # 按样本 id 分组，得到所有轨迹 self.trajectories = [] for sample_id, group in self.df.groupby("sample_id"): coords = group[["x", "y"]].values.astype(np.float32) # 只保留长度足够的轨迹 if len(coords) >= self.seq_len: self.trajectories.append(coords) def __len__(self): return len(self.trajectories) def __getitem__(self, idx): traj = self.trajectories[idx] # 随机截取一段 start = np.random.randint(0, len(traj) - self.seq_len + 1) segment = traj[start:start + self.seq_len] # 计算速度特征 velocity = np.diff(segment, axis=0) velocity = np.vstack([velocity, velocity[-1]]) # 保持长度一致 # 拼接坐标和速度 feature = np.concatenate([segment, velocity], axis=-1) # (T, 4) # 转成 tensor feature = torch.from_numpy(feature).float() return feature

上面的代码展示了一个关键点：

• 每个时间步的特征不是简单的 x、y，而是把速度也拼了进去，这能显著提升模型对运动趋势的感知能力。
• 由于np.diff会让序列长度减一，这里用复制最后一帧速度的方式对齐长度，保证输入形状一致。

5.4 对比损失与不确定性

一个实际可行的训练代理任务是“时序对比”：把同一条轨迹的不同片段看作正样本对，不同轨迹的片段看作负样本对。

在这个过程中，我们可以把模型输出的方差作为权重，让不确定性高的样本对在对比损失中贡献更小的梯度。核心代码如下：

# 文件路径：train.py（核心片段） def contrastive_loss_with_uncertainty(mu1, log_var1, mu2, log_var2, temperature=0.1): """ 结合不确定性的对比损失 mu1, log_var1: 第一个视角的表征均值和方差 mu2, log_var2: 第二个视角的表征均值和方差 """ # 计算两个表征之间的余弦相似度 mu1_norm = F.normalize(mu1, dim=-1) mu2_norm = F.normalize(mu2, dim=-1) sim_matrix = torch.matmul(mu1_norm, mu2_norm.T) / temperature # (B, B) # 计算每个样本的不确定性权重 # 不确定性越高，权重越低 var1 = torch.exp(log_var1).mean(dim=-1) # (B,) var2 = torch.exp(log_var2).mean(dim=-1) # (B,) uncertainty_weight = 1.0 / (1.0 + var1 + var2) # (B,) # 对角线是正样本（同一个轨迹的两个片段） batch_size = mu1.size(0) labels = torch.arange(batch_size).to(mu1.device) # 标准交叉熵损失 loss = F.cross_entropy(sim_matrix, labels, reduction="none") # 用不确定性权重调整每个样本的损失 loss = loss * uncertainty_weight return loss.mean()

这个损失函数比较形象地表示了“不确定性感知对比学习”的核心：不是让所有样本对“用力学”，而是让模型优先对齐那些确定度高的样本，对本身就有歧义的样本则降低要求。

5.5 训练主循环

# 文件路径：train.py（训练主循环） import torch.optim as optim from model import UncertaintyAwareMotionModel from dataset import SoccerTrajectoryDataset from torch.utils.data import DataLoader # 超参数 input_dim = 4 # x, y, vx, vy feat_dim = 128 hidden_dim = 256 batch_size = 64 epochs = 50 learning_rate = 1e-3 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") # 数据 dataset = SoccerTrajectoryDataset("data/trajectories.csv", seq_len=30) dataloader = DataLoader(dataset, batch_size=batch_size, shuffle=True) # 模型 model = UncertaintyAwareMotionModel(input_dim, feat_dim, hidden_dim).to(device) optimizer = optim.Adam(model.parameters(), lr=learning_rate) for epoch in range(epochs): total_loss = 0.0 for batch in dataloader: # batch: (B, T, 4) batch = batch.to(device) # 构造两个不同视角：例如把序列切成两半，或加噪声 view1 = batch[:, 0:15, :] view2 = batch[:, 15:30, :] mu1, log_var1 = model(view1) mu2, log_var2 = model(view2) loss = contrastive_loss_with_uncertainty(mu1, log_var1, mu2, log_var2) optimizer.zero_grad() loss.backward() optimizer.step() total_loss += loss.item() print(f"Epoch {epoch+1}/{epochs}, Loss: {total_loss / len(dataloader):.4f}")

在实际项目中，两个视角可以这样构造：

• 将一段轨迹分成前后两半；
• 对同一段轨迹做不同的增广，比如加噪声、时间扭曲、坐标旋转；
• 在时间维度上随机掩码一部分再重建。

5.6 下游任务评估

训练完成后，需要验证学到的运动表征是否有用。最直接的方式是“冻结表征 + 线性评估”，也就是把模型当作特征提取器，固定参数后在标注数据上训练一个简单的线性分类器。

# 文件路径：evaluate.py（下游分类评估） def extract_feature(model, data_loader, device): model.eval() features = [] labels = [] with torch.no_grad(): for batch, label in data_loader: batch = batch.to(device) mu, _ = model(batch) features.append(mu.cpu().numpy()) labels.append(label.numpy()) import numpy as np features = np.concatenate(features, axis=0) labels = np.concatenate(labels, axis=0) return features, labels

分类器可以使用sklearn.linear_model.LogisticRegression，然后用 5 折交叉验证评估平均准确率。这个指标可以直观反映“表征质量”的好坏。

6. 实验设计与评估指标

6.1 应该对比哪些方法

在学术研究或工程调优中，建议至少对比三组方法：

对比时保持训练数据、增广策略、优化器、评估流程一致，只改变模型是否建模不确定性，这样结果差异才可信。

6.2 评估指标

除了常用的线性评估准确率，建议再加上以下指标：

• Top-1 / Top-5 动作识别准确率：在足球动作分类任务上的表现。
• 预测误差（ADE / FDE）：Average Displacement Error 和 Final Displacement Error，衡量未来轨迹预测准确度。
• 不确定性校准误差：衡量模型预测的置信度是否与真实误差匹配。

校准误差的计算思路如下：

将预测结果按置信度从低到高分组， 每一组里计算“平均置信度”和“实际准确率”， 两者之差绝对值加权平均即为校准误差。

6.3 为什么要关注不确定性校准

在实际足球分析系统中，如果模型预测“球员会往左跑”，但置信度只有 0.3，那么教练组不应该把这个预测当作事实使用。不确定性感知模型最大的价值就在这里：它不只是给出一个答案，还给出了“这个答案有多可靠”。

如果你把方差输出当成一个额外的特征，在下游任务中与原始向量拼接，往往还能带来稳定的效果提升。这也是一种低成本、易落地的用法。

7. 常见问题与排查思路

7.1 log_var 输出一直为很大的负值

这个问题很常见。现象是模型输出的 log_var 被 clamp 到 -10，loss 基本不变。

7.2 训练不稳定，loss 出现 NaN

7.3 验证集上不确定性没有区分度

也就是说，模型输出的方差不管输入什么都很接近。这种情况通常意味着模型没有“学到”什么时候该不确定。

一个可行的调试方法是在训练数据中人为制造两类样本：

• 确定性样本：轨迹规律清晰，比如直线跑。
• 不确定性样本：轨迹随机跳跃，比如杂乱的变向。

然后观察模型对这两类样本输出的方差是否有差异。如果没有差异，说明方差信号没有有效传导，需要检查损失函数中方差项的设计。

7.4 对比学习训练时正样本对不稳定

这与数据增强策略有关。两个视角如果裁剪时差异过大，即使属于同一条轨迹，特征也会差异很大，导致对比学习训练不稳定。建议从简单的增强开始，比如遮挡末尾几帧、加入小幅高斯噪声，确认训练稳定后再增加复杂增广。

8. 最佳实践与工程建议

8.1 数据层面

• 先做中心化归一化：足球场坐标应转换到以球场中心为原点。
• 处理缺失帧：不要直接丢弃整个序列，建议用线性插值或把缺失位置掩码掉。
• 构建负样本时要注意球员身份：避免让同一球员的不同时间段被错误地当成强负样本。
• 不确定性的数据来源可以多样：除了模型自身输出的方差，还可以引入传感器置信度作为先验信息。

8.2 训练层面

• 分阶段训练：先训练确定性 baseline，确认 loss 正常收敛；再加入不确定性分支。
• 对 log_var 头使用较小的学习率：比如为主干网络的 0.1 倍。
• 使用梯度裁剪：GRU 训练容易梯度爆炸，建议设置clip_grad_norm_参数。
• 保存最优 checkpoint 时，以验证集的校准误差而不是训练 loss 为准则。

8.3 模型设计层面

• 如果下游任务关注的是类别识别，使用 mu 作为输出即可；如果关注的是“决策风险”，则一定要把方差传给下游。
• 不确定性感知模型并不适合所有任务。如果数据本身非常规则，方差头可能学不到有用信息，反而增加过拟合风险。
• 可以从“双头输出”开始，让模型天然支持确定性和不确定性两种模式，这样在部署时更灵活。

8.4 生产环境层面

• 在真实部署场景中，方差输出要设定阈值。当方差超过阈值时，系统应主动转人工或降低这个结果在融合决策中的权重。
• 不同球员、不同比赛阶段，方差分布可能有差异。建议按比赛上下文对不确定性做标准化，而不是全局硬编码阈值。
• 模型更新后，要用历史比赛数据重新统计方差分布范围，避免新模型置信度偏移影响下游决策。

9. 总结与下一步学习路线

在足球运动表征学习中加入不确定性建模，本质上是在解决一个非常实际的问题：真实运动数据不是一条确定的轨迹，而是充满选择和可能性的过程。通过让模型输出均值与方差，并利用方差重新设计损失函数，我们可以让运动表征同时具备“表达能力”和“可靠程度”。前者用 mu 完成各种下游任务，后者告诉我们什么时候应该信任这些表征。

如果你是从零开始接触这个方向，可以按照下面的路线继续深入：

• 先跑通本文的 GRU + 对比学习 baseline，在自采数据或公开运动数据集上完成预训练。
• 尝试把骨干网络从 GRU 换成 Transformer，观察不确定性质量是否提升。
• 在下游任务中加入“不确定性特征拼接”，验证方差信息的实际增益。
• 关于预测不确定性、深度集成（Deep Ensemble）、MC Dropout 的文献，这些是不确定性建模的经典方法。
• 如果条件允许，引入多模态信息（例如球的位置、队友位置、对手位置），把单球员运动表征扩展为群体运动表征。

实战中最值得关注的风险点永远是：不确定性指标有没有被真正校准，以及下游系统是否真正利用了方差信息。如果这两点没有落地，不确定性建模就只是模型结构上的装饰品。建议在动手写代码之前，先把评估指标定义清楚，这样每次实验迭代都能得到明确的反馈。