MediaPipe Pose实战教程：运动康复评估工具开发
MediaPipe Pose实战教程：运动康复评估工具开发
1. 引言
1.1 学习目标
本文将带你从零开始，基于 Google 的MediaPipe Pose模型，构建一个可用于运动康复评估的 AI 工具。你将掌握：
- 如何部署和运行 MediaPipe Pose 模型
- 实现人体 33 个关键点的高精度检测与可视化
- 构建 WebUI 界面实现图像上传与结果展示
- 将技术应用于实际场景——运动姿态分析与康复动作评估
最终成果是一个本地化、轻量级、无需 GPU的完整应用，适用于健身指导、物理治疗、动作矫正等场景。
1.2 前置知识
建议具备以下基础： - Python 编程基础（熟悉函数、类） - Flask 或 FastAPI 简单 Web 开发经验 - 图像处理基本概念（如 OpenCV 使用）
无需深度学习背景，所有模型均已封装集成。
1.3 教程价值
本教程不同于简单的“调用 API”示例，而是聚焦于工程落地全流程，涵盖环境配置、代码实现、界面交互、异常处理与性能优化，帮助你真正将 AI 技术转化为可用的产品原型。
2. 核心功能解析
2.1 MediaPipe Pose 模型原理简述
MediaPipe 是 Google 推出的一套跨平台机器学习管道框架，其中Pose 模型专为人体姿态估计设计。
该模型采用两阶段推理架构：
- 检测阶段（Detector）：在输入图像中定位人体区域，输出边界框。
- 关键点回归阶段（Landmarker）：对裁剪后的人体区域进行精细化处理，输出33 个 3D 关键点坐标（x, y, z, visibility）。
📌技术优势： - 支持正面、侧面、动态动作等多种姿态 - 输出包含深度信息（z 值），可用于动作空间判断 - 轻量化设计，CPU 上可达 30+ FPS
2.2 关键点定义与命名
MediaPipe Pose 定义了 33 个标准化关键点，覆盖全身主要关节：
| 类别 | 包含关键点 |
|---|---|
| 面部 | 鼻尖、左/右眼、耳等 |
| 上肢 | 肩、肘、腕、手部关键点 |
| 躯干 | 髋、脊柱、胸骨等 |
| 下肢 | 膝、踝、脚尖等 |
这些关键点可通过mp_pose.PoseLandmark枚举访问，例如mp_pose.PoseLandmark.LEFT_WRIST。
2.3 可视化机制说明
系统使用 OpenCV + MediaPipe 内置绘图工具自动绘制骨架连接线：
import cv2 from mediapipe import solutions # 绘制关键点与连接线 drawing = solutions.drawing_utils pose_landmarks = results.pose_landmarks if pose_landmarks: drawing.draw_landmarks( image=frame, landmark_list=pose_landmarks, connections=solutions.pose.POSE_CONNECTIONS, landmark_drawing_spec=drawing.DrawingSpec(color=(255, 0, 0), thickness=2, circle_radius=2), connection_drawing_spec=drawing.DrawingSpec(color=(255, 255, 255), thickness=2) )- 红点：关键点（landmark），颜色
(255, 0, 0)表示 BGR 中的蓝色圆点 - 白线：骨骼连接（connection），表示关节间的物理连接关系
3. WebUI 实现步骤详解
3.1 环境准备
确保已安装以下依赖包：
pip install flask opencv-python mediapipe numpy pillow✅ 所有组件均支持纯 CPU 运行，无需 CUDA 或 GPU 驱动。
3.2 目录结构规划
project/ ├── app.py # 主服务入口 ├── static/ │ └── uploads/ # 用户上传图片存储路径 ├── templates/ │ └── index.html # 前端页面模板 └── utils/ └── pose_detector.py # 姿态检测核心逻辑3.3 核心代码实现
utils/pose_detector.py—— 姿态检测模块
import cv2 import mediapipe as mp class PoseDetector: def __init__(self, static_image_mode=True, min_detection_confidence=0.5): self.mp_drawing = mp.solutions.drawing_utils self.mp_pose = mp.solutions.pose self.pose = self.mp_pose.Pose( static_image_mode=static_image_mode, model_complexity=1, # 平衡精度与速度 smooth_landmarks=True, enable_segmentation=False, min_detection_confidence=min_detection_confidence ) def detect(self, image_path): image = cv2.imread(image_path) rgb_image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) results = self.pose.process(rgb_image) if results.pose_landmarks: self.mp_drawing.draw_landmarks( image=image, landmark_list=results.pose_landmarks, connections=self.mp_pose.POSE_CONNECTIONS, landmark_drawing_spec=self.mp_drawing.DrawingSpec(color=(0, 0, 255), thickness=2, circle_radius=2), connection_drawing_spec=self.mp_drawing.DrawingSpec(color=(255, 255, 255), thickness=2) ) # 提取关键点数据（用于后续分析） landmarks = [] for lm in results.pose_landmarks.landmark: landmarks.append({ 'x': lm.x, 'y': lm.y, 'z': lm.z, 'visibility': lm.visibility }) return image, landmarks return image, Noneapp.py—— Flask 服务主程序
from flask import Flask, request, render_template, send_from_directory import os from utils.pose_detector import PoseDetector app = Flask(__name__) UPLOAD_FOLDER = 'static/uploads' os.makedirs(UPLOAD_FOLDER, exist_ok=True) detector = PoseDetector() @app.route('/', methods=['GET', 'POST']) def index(): if request.method == 'POST': file = request.files.get('image') if not file: return "请上传图片", 400 input_path = os.path.join(UPLOAD_FOLDER, 'input.jpg') output_path = os.path.join(UPLOAD_FOLDER, 'output.jpg') file.save(input_path) # 执行姿态检测 result_img, landmarks = detector.detect(input_path) cv2.imwrite(output_path, result_img) return render_template('index.html', has_result=True, input_img='uploads/input.jpg', output_img='uploads/output.jpg') return render_template('index.html', has_result=False) @app.route('/static/<path:filename>') def serve_static(filename): return send_from_directory('static', filename) if __name__ == '__main__': app.run(host='0.0.0.0', port=8080)templates/index.html—— 前端界面
<!DOCTYPE html> <html> <head> <title>AI 骨骼关键点检测</title> <style> body { font-family: Arial; text-align: center; margin: 40px; } .upload-box { border: 2px dashed #ccc; padding: 20px; margin: 20px auto; width: 60%; } img { max-width: 45%; height: auto; margin: 10px; border: 1px solid #eee; } </style> </head> <body> <h1>🤸♂️ AI 人体骨骼关键点检测</h1> <p>上传一张人像照片，系统将自动绘制骨骼连接图</p> <form method="POST" enctype="multipart/form-data" class="upload-box"> <input type="file" name="image" accept="image/*" required> <button type="submit">分析姿态</button> </form> {% if has_result %} <h3>检测结果</h3> <img src="{{ url_for('static', filename=input_img) }}" alt="原图"> <img src="{{ url_for('static', filename=output_img) }}" alt="骨骼图"> <p><strong>红点</strong>：关节点位置 | <strong>白线</strong>：骨骼连接</p> {% endif %} </body> </html>3.4 启动与测试
- 运行服务：
python app.py- 浏览器访问
http://localhost:8080 - 上传测试图片（建议全身站立或做瑜伽动作）
- 查看生成的骨骼图
⚠️ 注意事项： - 图片需包含清晰可见的人体 - 光照均匀有助于提升检测准确率 - 若多人入镜，仅检测置信度最高者
4. 应用于运动康复评估
4.1 动作角度计算示例
我们可以利用关键点坐标计算关节角度，用于评估动作规范性。
以肘关节弯曲角度为例：
import math def calculate_angle(a, b, c): """计算三点形成的角度（B为顶点）""" ba = [a['x'] - b['x'], a['y'] - b['y']] bc = [c['x'] - b['x'], c['y'] - b['y']] dot_product = ba[0]*bc[0] + ba[1]*bc[1] mag_ba = math.sqrt(ba[0]**2 + ba[1]**2) mag_bc = math.sqrt(bc[0]**2 + bc[1]**2) cosine_angle = dot_product / (mag_ba * mag_bc) angle = math.acos(max(-1, min(1, cosine_angle))) return math.degrees(angle) # 示例：计算左臂角度 left_shoulder = landmarks[mp_pose.PoseLandmark.LEFT_SHOULDER.value] left_elbow = landmarks[mp_pose.PoseLandmark.LEFT_ELBOW.value] left_wrist = landmarks[mp_pose.PoseLandmark.LEFT_WRIST.value] angle = calculate_angle(left_shoulder, left_elbow, left_wrist) print(f"左肘角度：{angle:.1f}°")此功能可用于： - 判断患者是否完成指定幅度的动作 - 记录训练过程中的角度变化趋势 - 自动生成康复报告
4.2 异常动作预警机制
结合预设阈值，可实现简单预警：
if angle < 90: print("⚠️ 肘部未充分伸展，请继续拉伸") elif angle > 160: print("⚠️ 注意控制力度，避免过度伸展") else: print("✅ 动作标准")未来可扩展为： - 多帧连续分析（视频流） - 动作轨迹比对（与标准模板对比） - 时间序列分析（动作持续时间、稳定性）
5. 总结
5.1 实践收获回顾
通过本文实践，我们完成了以下目标：
- 成功部署并运行了MediaPipe Pose高精度姿态检测模型
- 实现了33 个关键点的实时检测与可视化
- 构建了完整的WebUI 系统，支持图像上传与结果展示
- 探索了其在运动康复评估中的实际应用路径
- 提供了可扩展的代码框架，便于后续功能增强
5.2 最佳实践建议
- 优先使用 CPU 版本：MediaPipe 在 CPU 上表现优异，适合边缘设备部署
- 增加输入校验：检查图像尺寸、格式、是否含人等
- 缓存机制优化：避免重复处理相同图片
- 支持视频输入：升级为实时摄像头或视频文件分析
- 导出结构化数据：将关键点保存为 JSON 或 CSV，便于数据分析
💡获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。