基于YOLOv5的煤矿大块煤识别数据集构建与训练实践

简介：本资源是面向煤矿智能化检测与工业视觉识别领域的专业数据集，专为YOLOv5等PyTorch框架下的目标检测模型训练与验证设计，解决大块煤在复杂煤堆场景中精准识别与尺寸判别难题，适用于算法工程师、矿业AI应用开发者及计算机视觉初学者开展实战建模。压缩包共2000个文件，含1767张煤矿现场实采图像（JPG格式）、对应YOLOv5标准格式的标注TXT文件（每图一标，含归一化坐标与类别ID），以及统一配置的data.yaml元信息文件，整体体积39.15MB，结构规范、开箱即用。目前已有452人学习下载，数据覆盖多光照、多角度、多堆积形态的真实工况，所有图像均经人工复核标注，可直接用于模型训练、mAP评估及工业部署前的数据增强实验。 煤矿现场的监控画面我盯过很久，说真的，让一个人连续盯着皮带上的煤流找大块煤，十五分钟之后注意力就很难保证了。但大块煤一旦漏过去，轻则堵溜槽，重则卡破碎机，皮带跑偏撕裂也是常见的连锁事故。所以这两年煤矿智能化项目里，“大块煤识别”几乎成了标配需求，而实现这个功能的底层支撑，就是一套靠谱的目标检测数据集。

我这边整理了一套煤矿现场采集的大块煤识别数据集，总共1767张现场图片，已经按YOLOv5的PyTorch训练格式全部标注完成，专门用于训练大块煤检测模型。坦白讲，1767张图放在公开数据集里不算多，但对于煤矿现场这种场景相对固定、目标外观变化有限的工业项目来说，这个量级完全够用，关键要看数据怎么做。这篇文章我就把整套流程拆开讲清楚：从采集思维、清洗标准、标注规范，到YOLO txt格式制作、训练环境配置、常见坑点排查，全部过一遍。不管你是刚接触目标检测，还是已经在做工业视觉项目，都可以把这篇文章当成一份可复用的操作手册。

1. 项目背景：为什么煤矿现场要识别大块煤

1.1 大块煤识别的真实痛点

“大块煤”这个说法在选煤厂、装车站、井下运输巷道里经常出现，但严格定义并不完全统一。有的煤矿把大于300mm粒径的叫大块煤，有的把大于500mm的叫大块煤，阈值取决于破碎机入口尺寸、筛分设备孔径和后续工艺的承受能力。不管阈值定多少，业务需求都差不多：从运动的煤流里把超粒径的煤块找出来，然后触发破碎、分流或者人工清理的动作。

不做这件事会有什么后果？选煤环节中，大块煤进入破碎机容易卡死转子，一次卡停至少耽误半小时生产；运输环节里，大块煤在皮带上容易造成跑偏，严重的会撕裂皮带，一条皮带的更换成本动不动就是几十万。装车环节更直接，如果大块煤混进商品煤里，煤质指标会出问题，下游客户投诉和扣款都是真金白银的损失。所以很多煤矿宁可多上一套视觉识别系统，也不愿意靠人工盯监控。而视觉方案之所以流行，是因为现场环境太恶劣，雷达、红外这类传感器对粉尘和角度都比较敏感，工业摄像头加目标检测模型反而是成本低、响应快、可复制的方案。

1.2 1767张图像应该覆盖哪些现场场景

一套数据能不能撑起模型，光看数量是不够的。我对比过不少数据集，有些总量看着很大，但2000张图里有1600张是同一个皮带同一角度的连续帧，模型训练完换一个现场点位就拉胯。1767这个数量放到工业视觉里不算大规模，但如果采集的时候有意识地覆盖了不同位置、不同角度、不同光照，它的“有效多样性”反而比那种同质化堆量的数据强很多。

具体到煤矿现场，常见采集点位大概有这么几类：皮带运输机上方的俯拍视角，这是最主流的角度，煤流从镜头下方高速通过；溜槽或者落料口旁边的侧拍视角，目标会出现堆叠、遮挡，难度更高；堆场或煤仓的远距离视角，煤堆层叠，大块煤混在里面不那么显眼；振动筛筛面附近的平视视角，煤块在振动状态下边界会有拖影。每类场景下还要尽量覆盖不同光照：白天自然光、夜间补光灯、粉尘浓度高的时段、刚洒水完煤流表面反光明显的时段。这样组合下来，模型能接触到的大块煤外观变化才够完整，训练出来的检测器在现场才敢用。

2. 数据准备：采集、清洗与标注规范

2.1 现场图像采集的两种方式和关键参数

煤矿现场图像的获取通常有两种方式。一种是直接用现场已有的监控录像抽帧，这是最省事的做法。监控系统一般24小时开着，把视频导出来之后按时间间隔抽帧就行，比如每3秒取1帧，或者按关键帧取，避免相邻帧内容太接近。另一种是有条件的新点位，用工业相机专门拍摄，建议分辨率不低于1920×1080，如果资金允许直接上500万像素的相机，画面里小目标保留的细节会更多。

不管哪种方式，有几个参数要特别留意。压缩码率不能太低，H.264编码如果码率给得太低，画面里小煤块的边缘会发糊，标注的时候边界不好判断，模型学到的特征也是脏的。拍摄角度尽量固定，巡检人员手持手机临时拍几张也能用，但如果同一个点位能固定安装摄像头，得到的视频连续性强，抽帧后目标尺寸变化更自然，训练效果通常更好。另外，帧率和快门速度也要匹配煤流速度，煤流跑得快的时候如果快门速度太低，画面里全是运动模糊，这种图标了也没意义。

2.2 图像清洗筛选标准：哪些图必须扔掉

很多人做数据集时容易忽略清洗这一步，觉得拍回来的图都能用，其实这是大错特错。标注一个模糊框不仅浪费人工，还会给训练引入噪声，框和目标的边界对不上，模型收敛都会受影响。我实际操作时一般按下面这套标准筛图：

这套标准执行下来，1767张图可能要从原始素材中筛掉一两成，这很正常。目标检测数据集的常见误区是“差不多就行”，但框歪了、面积带大了、类别边界的煤块也标进去了，这些噪声累积起来会直接反映在mAP上，而且后期排查起来非常消耗耐心。

2.3 类别定义与标框策略：单类别也不简单

类别定义方面，初始数据集建议只设一个类别，名字可以叫“large_coal”或者“big_coal”。有人会问要不要把小块煤也标上做负样本，我的建议是不要。YOLOv5训练时，背景本身就会作为负样本参与学习，不需要人为额外标注背景类别。如果后续工艺需要区分“超大块”和“一般大块”，再追加类别训练也不迟，但首次训练请保持简单，类别越多，初期标注不一致带来的问题就越多。

标框策略是大块煤数据集真正考验人的地方。YOLOv5用的是水平矩形框，不支持旋转框，所以目标再长再斜也只能用矩形贴住，这要求标注员对“紧贴可见边缘”有统一的理解。我整理了几条标框原则：

• 水平框尽量紧贴目标可见边缘，宁紧勿松，框太松会把背景煤粉学进去；
• 多个煤块粘连时，按视觉上可区分的边界拆开标，如果实在分不开就整体框一个，但要做好记录；
• 目标被遮挡超过一半的不标，遮挡面积小的话标可见部分；
• 在图像边界的截断目标，可见面积超过1/3就标，太小直接忽略；
• 同一张图里如果目标很少，不要为了凑数硬标，保持真实分布。

这些原则看起来简单，实际执行起来最大的敌人是“手懒”。特别是那种边缘模糊的煤流图，标几个框顺手一拉，框比煤块大了一圈，叠加上千张图之后，模型学到的位置误差就非常明显了。

3. 标注与格式转换：做成YOLOv5能直接用的数据集

3.1 标注工具选择与操作流程

标注工具这一块，我试过不少，最终在本地环境里还是最常用LabelImg。它是传统的桌面标注工具，轻量、启动快、对单类别标注完全够用，也支持直接导出YOLO格式。安装方式很简单：

pip install labelImg labelImg

启动之后，左侧选择Open Dir加载图片目录，右侧选择Change Save Dir设置标签存放目录，顶部菜单把保存格式切换成YOLO。快捷键W是画框，A和D切换上一张下一张，Ctrl+S保存当前标注，一个人标单类别数据大概能维持每分钟3到5张的速度。

如果有一定基础，也可以试试X-AnyLabeling，它内置了一些自动标注模型，可以先用模型跑一遍预标注，再人工修正。但第一次做数据我不建议过度依赖自动标注，因为初期的标注错误会被模型学进去，后面再想纠正就要重新洗数据。手工标一遍虽然累，但你知道每个框是用什么标准画出来的，后续训练出问题也好从数据维度排查。

3.2 YOLOv5数据格式详解：一张图对应一个txt

严格来说，YOLOv5的标注文件是纯文本的YOLO格式，PyTorch是模型训练框架，二者不是同一层的东西。标题里写“yolov5pytorch格式”，实际含义就是这份数据集可以直接拿给基于PyTorch的YOLOv5仓库去训练。新手不用被这个组合词吓到，它本质上就是三样东西：图像文件夹、同名txt标签文件夹、一个data.yaml配置文件。

标准的目录结构是这样：

coal_dataset/ ├── images/ │ ├── train/ │ └── val/ ├── labels/ │ ├── train/ │ └── val/ └── data.yaml

每张图像对应一个同名的txt文件，比如IMG_0001.jpg对应IMG_0001.txt。txt里每一行代表一个目标，格式固定为5个字段：

<class_id> <x_center> <y_center> <width> <height>

特别注意，所有坐标都是归一化后的数值，范围在0到1之间，用像素坐标除以图像宽高得到。举个例子，假设图像宽度是1920，高度是1080，某个大块煤的左上角像素坐标是(480, 270)，右下角是(720, 540)，那么计算过程是：

• x_center = ((480 + 720) / 2) / 1920 = 0.3125
• y_center = ((270 + 540) / 2) / 1080 = 0.375
• width = (720 - 480) / 1920 = 0.125
• height = (540 - 270) / 1080 = 0.25

所以这一行就是0 0.3125 0.375 0.125 0.25。单个txt文件里有几行，就代表这张图里有几个大块煤目标。如果某张图没有目标，txt文件应该留空或者直接不创建，但YOLOv5在训练时会对空标签做特殊处理，建议目录里保留一个空txt，不要完全缺失，避免文件名匹配逻辑产生意外问题。

还要注意一个细节：YOLOv5加载数据时，会自动把图像路径里的images替换成labels去找对应标签，所以目录命名一定要按约定来，images和labels这两个文件夹名字不能改，否则训练时百分之百报错。

3.3 训练集与验证集划分：不要踩数据泄露的坑

很多人在划分训练集和验证集时习惯直接随机打散，对一般数据问题不大，但对煤矿现场抽帧得到的图片来说，这里藏着一个坑：如果同一段视频的连续帧同时出现在训练集和验证集里，模型其实已经“见过”验证集的图像了，验证集评估出来的指标会虚高，现场部署后一遇到新的角度就露馅。

稳妥的做法是划分之前先按场景分组，确保同一条皮带、同一台相机的画面尽量全部进入同一个集合。比如有3个点位的监控画面，可以按点位划分：点位1和点位2的图片进训练集，点位3进验证集，这样验证集才真正模拟了“没见过的场景”。如果点位不够，退一步也应该按时间区间划分，前几天的视频帧进训练集，后几天的进验证集。

下面是我常用的划分脚本，固定随机种子保证可复现：

import os import random import shutil random.seed(42) img_src = "all_images" label_src = "all_labels" train_ratio = 0.9 imgs = [f for f in os.listdir(img_src) if f.endswith(".jpg")] random.shuffle(imgs) val_count = int(len(imgs) * (1 - train_ratio)) val_imgs = imgs[:val_count] train_imgs = imgs[val_count:] for split, split_imgs in [("train", train_imgs), ("val", val_imgs)]: os.makedirs(f"images/{split}", exist_ok=True) os.makedirs(f"labels/{split}", exist_ok=True) for img in split_imgs: shutil.copy(os.path.join(img_src, img), f"images/{split}/{img}") label_file = img.rsplit(".", 1)[0] + ".txt" label_path = os.path.join(label_src, label_file) if os.path.exists(label_path): shutil.copy(label_path, f"labels/{split}/{label_file}")

这段脚本会把90%的图片复制到训练集，10%到验证集。如果你的数据不是按场景分好组的，建议在上面代码之前先按目录把图片分组，再把组级数据划分到不同集合，而不是对单张图片做随机划分。

3.4 编写data.yaml配置文件

YOLOv5训练时必须给一个data.yaml文件，描述数据集路径和类别信息。我的配置是这样的：

path: D:/datasets/coal_dataset train: images/train val: images/val nc: 1 names: ['large_coal']

各字段含义很直观：path是数据集的根目录绝对路径或者相对路径，train和val是相对于根目录的训练和验证图片文件夹，nc是类别数量，names是类别名称列表，顺序和标注txt里的类别编号一一对应。需要注意，names列表的下标从0开始，所以只有names[0]也就是large_coal对应标注文件里的0。

这里有个小坑：path字段在YOLOv5不同版本里的作用有细微差别，老版本可能没有path字段，而是直接在train和val里写完整路径。如果你用的是新版本，建议写相对路径加path的组合方式；如果训练时提示找不到图片路径，改成在train和val里填绝对路径，问题一般就解决了。

3.5 标注质量自动校验脚本

1767张图手工标注下来，难免有漏网之鱼。有的图可能保存成了Pascal VOC格式，有的坐标没归一化，有的类别编号写错了，直接在训练时才报错会很被动。所以在训练前，我强烈建议先跑一遍标注校验脚本，把所有标签文件扫一遍：

import os label_dir = "labels/train" errors = [] for f in sorted(os.listdir(label_dir)): if not f.endswith(".txt"): continue with open(os.path.join(label_dir, f)) as fp: lines = fp.readlines() for line_no, line in enumerate(lines, 1): parts = line.strip().split() if len(parts) != 5: errors.append(f"{f}:{line_no} 字段数不对") continue cid, x, y, w, h = parts if not cid.isdigit() or int(cid) >= 1: errors.append(f"{f}:{line_no} 类别编号异常") try: x, y, w, h = map(float, [x, y, w, h]) except ValueError: errors.append(f"{f}:{line_no} 坐标不是数字") continue if not (0 <= x <= 1 and 0 <= y <= 1 and 0 <= w <= 1 and 0 <= h <= 1): errors.append(f"{f}:{line_no} 坐标越界") if errors: print("发现", len(errors), "个问题") for err in errors[:20]: print(err) else: print("标签校验通过")

这段脚本检查三个点：字段数是不是5个、类别编号是不是从0开始、坐标是不是都在0到1之间。跑完没有问题再进训练流程，能省很多折腾时间。

4. 环境搭建与训练参数配置

4.1 PyTorch安装的版本搭配思路

YOLOv5是构建在PyTorch之上的，所以环境搭建的第一步是装好PyTorch。很多新手在这一步卡住，多数是因为版本搭配出了问题。我的原则是：先看显卡驱动支持的CUDA版本，再选择匹配的PyTorch版本，不要盲目追新。

打开终端执行：

nvidia-smi

看右上角CUDA Version，这个数值表示驱动支持的最高CUDA版本。假设显示的是11.8或者12.1，那就选择对应版本的PyTorch。以CUDA 11.8为例，推荐用conda建环境再装：

conda create -n yolo python=3.9 -y conda activate yolo pip install torch==2.0.1 torchvision==0.15.2 --index-url https://download.pytorch.org/whl/cu118

如果没有NVIDIA独立显卡，直接装CPU版本就能跑通训练流程，只是速度会慢很多：

pip install torch torchvision

版本匹配原则浓缩成一句话：不要追新，稳定优先。YOLOv5官方仓库对PyTorch 2.0这个版本兼容性很好，踩过的坑最少，新手用这套组合比较稳妥。

4.2 获取YOLOv5代码并安装依赖

PyTorch装好之后，拉取YOLOv5代码并安装依赖：

git clone https://github.com/ultralytics/yolov5 cd yolov5 pip install -r requirements.txt

requirements.txt里包含了训练需要的所有Python包，包括numpy、opencv-python、matplotlib、tensorboard这些。如果网络慢导致pip安装超时，可以临时换用国内镜像源，比如：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

装好之后，可以顺手跑一句python train.py --help看看命令是否正常输出，如果正常说明环境基本通了。

4.3 关键训练超参数怎么选

训练超参数直接影响训练效率和最终效果，这几个参数我每次都会认真调：

• --img：输入图像尺寸，默认640。大块煤在画面中如果偏大，640够用；如果目标偏小，可以试试1280，但显存占用会明显上升。
• --batch：批大小，由显存决定。8GB显存用16或32，24GB显存可以用64。YOLOv5也支持--batch -1让程序自动探测最大可用批大小。
• --epochs：迭代轮数，建议300起步。工业数据集不大，300轮基本能看到收敛，配合早停机制防止过拟合。
• --weights：预训练权重。默认用yolov5s.pt速度最快，追求更高精度可以换yolov5m.pt或yolov5l.pt。

我训练这块数据的典型命令是：

python train.py --data coal.yaml --weights yolov5s.pt --img 640 --batch 16 --epochs 300 --device 0

如果只想快速验证数据链路是否通畅，可以先用--epochs 5跑一个小轮次，确认loss在下降、验证集能正常评估，再跑完整的300轮，这样可以避免因为数据配置错误白等好几个小时。

5. 训练过程与问题排查实录

5.1 启动训练并读懂loss曲线

训练启动后，终端会持续输出每一轮的训练日志，包括box_loss、obj_loss、cls_loss、precision、recall、mAP等指标。我刚接触YOLOv5时盯着这些数字一脸懵，后来明白了一个大概的判断逻辑：box_loss表示预测框和真实框的误差，obj_loss表示目标置信度误差，cls_loss是分类误差。对于单类别大块煤识别，cls_loss参考价值不大，重点看box_loss和obj_loss有没有稳定下降。

正常情况下，train loss应该在前面几轮快速下降，然后逐渐平缓；val loss也会同步下降，但会有波动。如果train loss持续下降，而val loss到了某一轮开始反弹，说明模型开始过拟合了，训练集背得太熟，验证集上泛化变差。通常的解决办法是降低epochs、增大训练数据或增加数据增强。YOLOv5默认开启了早停机制，也就是--patience参数，默认100轮内验证指标没有改善就自动停止，这个机制我建议保持开启。

5.2 标注格式错误是最常见的训练报错来源

训练时最常见的问题往往不是模型本身，而是数据标注格式出错。我遇到过三类典型错误：

第一，类别编号从1开始。很多人受习惯影响，把第一个类别编号标成1，但YOLOv5要求从0开始。单类别数据如果标成1，训练时类别索引越界，会直接报错。校验脚本里检查int(cid) >= 1能提前发现这个问题。

第二，坐标没有归一化。手动标注时如果不小心把像素坐标直接写进了txt，训练时YOLOv5会把上千像素的值当作0到1的归一化值解析，导致anchor匹配全部错乱，loss异常大且不稳定。校验脚本里的0到1范围检查就是为了抓这个问题。

第三，标签文件名和图像文件名不匹配。比如图像是IMG_0001.jpg，标签文件是IMG_0001.txt，如果多一个空格或者扩展名不一致，训练时会提示找不到标签。这类问题用一个文件对应关系检查脚本很容易发现，也可以用os.listdir对比两个目录下的文件名。

5.3 目标小、数量不均导致的漏检问题

大块煤在画面里占的像素面积如果很小，模型可能一直漏检。这种情况在远距离堆场视角比较常见，煤堆上的一大块煤可能只占图像宽度的1/10不到。我的经验是优先尝试这几种方法：

• 提高训练分辨率，比如从640改成1280，让小目标在输入图像里占更多像素；
• 增大Mosaic增强的贡献，YOLOv5默认开启了Mosaic增强，会把4张图拼在一起训练，偏小的目标更容易被采样到；
• 针对性地补充近景或特写样本，让样本里出现更多“大尺寸外观”的大块煤。

还有一个容易被忽视的问题：如果整张图里只有零星的几个大块煤，背景占比极大，模型会倾向于把所有区域预测成背景。这时候可以检查一下训练集里的标签密度，如果发现大量图像只有1到2个目标，可以考虑在采集时多拍一些目标密集的画面来平衡分布。

5.4 背景与目标对比度低时的优化方向

煤块在煤粉皮带上的对比度本来就不高，特别是皮带上的煤粉和煤块都是黑色系，模型很容易把堆积的料流整体识别成一个大目标或者漏掉真正的边界。解决这个问题的两个方向是图像层面和标注层面。

图像层面，可以在数据增强里提高亮度、对比度的扰动强度，或者采集时增加侧光和补光条件，让煤块的立体轮廓更明显。标注层面，我发现很多误检其实是标注框太松导致的。画框时如果把煤块边缘的阴影和煤粉带都包进去了，模型就会学着把阴影当目标。回到标注时要求“紧贴可见边缘”，这一步对对比度低的目标尤其重要。

我整理了一份常见问题速查表，训练时遇到对应现象可以快速定位：

5.5 一点额外提醒：PyTorch版本升级带来的加载变化

如果你用的PyTorch版本比较新，比如2.6以上，在自定义脚本里用torch.load加载权重文件时要注意，新版把weights_only参数的默认值从False改成了True，导致一些老权重文件里的非张量对象加载失败。YOLOv5训练本身有封装好的加载逻辑影响不大，但如果你写完推理脚本直接调用torch.load，遇到类似于“Weights only load failed”的报错，记得手动加上weights_only=False。

6. 数据集的持续迭代与个人经验

6.1 从单类别到多类别的扩展

这套数据集虽然目前只有大块煤一个类别，但后续很自然会遇到扩展需求。比如有的现场想区分“超大块”和“一般大块”，有的想同时识别“大块煤”和“锚杆、托辊等异物”，这些都属于多类别检测。扩展的时候不要重新标全量数据，只需要在现有数据基础上追加新类别的标注，然后调整data.yaml里的nc和names即可。如果新类别样本数量不够，可以用已有的单类别模型做预标注，再用人工修正的方式快速铺量，也就是半自动标注的路子。

6.2 关于标注质量和迭代闭环的几点经验

最后说几条我自己踩过坑之后沉淀下来的经验。

标注过程中最怕的是多人标准不统一。一个人标的话，框的松紧风格基本一致；多人协作时，如果没有一个明确的标框规范，同一块煤在不同人手里画出来的框可能差出10%到20%的面积。这种情况下，模型学到的边界就变成了一种“平均风格”，精度天花板会被拉低。所以要么一个人标到底，要么多人标完之后集中review一轮。

另外，数据集不能一次性做完就扔在那，而是要跟着现场误报和漏报持续迭代。模型部署上线后，每次现场出现的典型漏报图、误报图都应该回灌到训练集里，重新标注、增量训练，这样才能慢慢覆盖掉新场景的分布。实际项目里，模型上线三个月之后效果还在稳步提升，靠的就是这套回灌机制。

最后再分享一个小技巧：标框的时候可以顺手记录一下每张图的拍摄点位和时段，写到文件名前缀里。这样后续做分组划分、排查数据泄露、定位某一类场景的误报时，会非常方便。反向踩坑的经历告诉我，前期多花十分钟做记录，后期能省出好几个小时的排查时间。数据集的本质就是“组织好的经验”，组织得越有条理，训练出来的模型就越可靠。

本文还有配套的精品资源，点击获取