基于YOLOv11的宫腔镜病变智能检测系统开发
1. 项目概述
宫腔镜检查作为妇科疾病诊断的重要手段，其图像判读一直高度依赖医生的临床经验。传统的人工判读方式存在主观性强、易疲劳漏诊等问题，特别是在基层医疗机构中，专业医师资源匮乏的情况更为突出。针对这一痛点，我们开发了一套基于深度学习的宫腔镜病变智能检测与语音提示系统，通过YOLOv11目标检测算法实现了对8种常见宫腔病变的自动识别与分类。
1.1 系统核心功能
本系统主要实现了以下核心功能：
- 实时检测宫腔镜画面中的8类病变：黏膜下子宫肌瘤、子宫内膜癌、子宫内膜息肉等
- 支持图片、视频及摄像头输入的多种检测模式
- 提供病变位置标注、置信度显示及语音提示功能
- 检测结果可保存为图片、视频及结构化数据文件
- 基于PyQt5开发的友好用户界面，操作简便直观
1.2 技术选型考量
在技术方案选择上，我们基于以下考量最终确定了YOLOv11+PyQt5的技术路线：
检测算法选择：YOLOv11作为最新一代的目标检测算法，在保持YOLO系列实时性的基础上，通过改进的特征提取网络和优化的训练策略，显著提升了小目标检测的准确率。这对于宫腔镜图像中微小病变的识别尤为重要。
界面开发框架：PyQt5因其跨平台特性、丰富的组件库和良好的Python生态支持，成为桌面应用开发的首选。其信号槽机制特别适合实时检测系统的开发需求。
语音提示方案：采用轻量级的TTS引擎实现实时语音反馈，在保证响应速度的同时，将系统资源占用控制在合理范围内。
2. 系统设计与实现
2.1 数据准备与处理
高质量的数据集是模型性能的基础保障。我们收集了3385张实际临床场景下的宫腔镜图像，并按照8:2:1的比例划分为训练集、验证集和测试集。
2.1.1 数据标注规范
所有图像均使用LabelImg工具进行标注，标注过程中遵循以下规范：
- 病变区域标注框需完全包含病灶，边缘保留1-2个像素的缓冲空间
- 对于模糊或存疑的图像，由两位副主任医师共同确认后标注
- 标注文件采用YOLO格式保存，包含归一化后的中心坐标和宽高信息
2.1.2 数据增强策略
为提升模型泛化能力，我们实施了以下数据增强方案：
# 数据增强配置示例 augmentation = { 'hsv_h': 0.015, # 色相调整 'hsv_s': 0.7, # 饱和度调整 'hsv_v': 0.4, # 明度调整 'rotate': 10, # 旋转角度 'translate': 0.1,# 平移比例 'scale': 0.5, # 缩放比例 'shear': 0.0, # 剪切变换 'perspective': 0.0005, # 透视变换 'flipud': 0.5, # 上下翻转概率 'fliplr': 0.5 # 左右翻转概率 }2.2 模型训练与优化
2.2.1 网络架构调整
基于YOLOv11n的基础架构，我们针对宫腔镜图像特点进行了以下优化：
- 在Backbone中增加了小目标检测层，提升对微小病变的感知能力
- 调整Neck部分的特征融合策略，加强多尺度特征提取
- 使用SIoU作为损失函数，优化边界框回归精度
2.2.2 训练参数配置
关键训练参数设置如下表所示：
| 参数名 | 设置值 | 说明 |
|---|---|---|
| epochs | 150 | 训练轮次 |
| batch_size | 4 | 批处理大小 |
| optimizer | SGD | 优化器类型 |
| lr0 | 0.01 | 初始学习率 |
| lrf | 0.01 | 最终学习率 |
| weight_decay | 0.0005 | 权重衰减系数 |
训练过程中采用早停策略（patience=30），当验证集mAP连续30个epoch没有提升时自动终止训练。
2.3 系统界面开发
2.3.1 界面布局设计
系统界面采用经典的"三栏式"布局：
- 左侧为检测结果显示区
- 右侧上部为参数设置区
- 右侧下部为检测结果详细信息展示区
这种布局既保证了检测画面的完整展示，又将操作控件集中在右侧，符合大多数用户的操作习惯。
2.3.2 关键功能实现
实时检测线程：
class DetectionThread(QThread): result_ready = pyqtSignal(np.ndarray, list) def __init__(self, model, source): super().__init__() self.model = model self.source = source self.running = True def run(self): cap = cv2.VideoCapture(self.source) while self.running: ret, frame = cap.read() if not ret: break results = self.model(frame) self.result_ready.emit(frame, results) cap.release() def stop(self): self.running = False self.wait()语音提示模块：
class VoicePrompt: def __init__(self): self.engine = pyttsx3.init() self.engine.setProperty('rate', 150) def speak(self, text): self.engine.say(text) self.engine.runAndWait() def prompt(self, class_name, confidence): if confidence > 0.7: status = "高度疑似" elif confidence > 0.5: status = "疑似" else: status = "可能" self.speak(f"发现{status}{class_name}")3. 系统性能评估
3.1 检测精度分析
在测试集上的评估结果如下：
| 类别 | Precision | Recall | mAP@0.5 |
|---|---|---|---|
| 黏膜下子宫肌瘤 | 0.85 | 0.78 | 0.82 |
| 子宫内膜癌 | 0.88 | 0.82 | 0.85 |
| 子宫内膜息肉 | 0.83 | 0.80 | 0.81 |
| 平均 | 0.84 | 0.79 | 0.82 |
从结果可以看出，系统对恶性病变（如子宫内膜癌）的检测精度更高，这与临床诊断的重视程度相符。
3.2 实时性能测试
在不同硬件平台上的性能表现：
| 设备配置 | 分辨率 | FPS | 显存占用 |
|---|---|---|---|
| RTX 3060 | 640×640 | 45 | 2.3GB |
| GTX 1660 | 640×640 | 28 | 1.8GB |
| CPU(i7-10700) | 640×640 | 3 | - |
测试结果表明，系统在中端GPU上即可实现流畅的实时检测，满足临床使用需求。
4. 应用实践与优化建议
4.1 典型应用场景
- 术中实时辅助：系统可标记可疑区域并语音提示，帮助医生重点关注潜在病灶
- 基层医院应用：作为"AI第二意见"，提升基层医生的诊断信心和准确率
- 教学培训：通过实时标注和语音讲解，加速学习曲线
4.2 常见问题排查
问题1：检测框抖动明显
- 可能原因：视频帧间目标位置变化大
- 解决方案：启用检测结果平滑滤波
# 检测结果平滑处理 def smooth_boxes(current, previous, alpha=0.3): if previous is None: return current return alpha * current + (1 - alpha) * previous问题2：语音提示延迟
- 可能原因：TTS引擎初始化耗时
- 解决方案：预加载常见提示语音，采用线程池管理语音任务
4.3 后续优化方向
- 模型轻量化：探索知识蒸馏等技术，降低计算资源需求
- 多模态融合：结合临床指标等非图像信息提升诊断准确性
- 云端协同：开发云端模型更新机制，持续优化模型性能
5. 开发心得与技巧
在实际开发过程中，我们积累了一些有价值的经验：
数据标注质量控制：建立三级审核机制，确保标注准确性。特别是对于不典型增生等难以判别的病变，必须由资深病理专家复核。
类别不平衡处理：采用加权采样策略，增加少见类别样本的采样概率。同时调整损失函数中的类别权重，避免模型偏向多数类。
部署优化技巧：
- 使用TensorRT加速推理过程
- 采用半精度浮点运算减少显存占用
- 实现动态批处理提升吞吐量
用户体验细节：
- 检测结果采用渐变动画呈现，减少视觉跳跃感
- 语音提示增加缓冲机制，避免频繁打断医生操作
- 提供一键导出结构化报告功能，方便病历记录
这套系统目前已在三家试点医院投入使用，平均帮助医生节省约30%的阅片时间，同时将微小病变的检出率提升了15%。特别是在子宫内膜癌的早期筛查中表现出色，多位临床专家反馈系统对不典型增生的识别能力接近中级职称医师水平。