保姆级教程：用Python脚本把BDD100K数据集转成YOLOv5/v8能用的格式（附完整代码）

从BDD100K到YOLOv5/v8：高效数据集转换实战指南

如果你正在为自动驾驶或交通场景的目标检测任务寻找高质量数据集，BDD100K绝对是个不可错过的选择。这个由伯克利大学发布的百万级图像数据集，覆盖了各种天气、光照和道路条件，但它的JSON标注格式却让许多想直接用于YOLO训练的开发者犯了难。别担心，本文将带你一步步打通这个转换流程，让你能专注于模型调优而非数据预处理。

1. 环境配置与数据准备

在开始转换前，我们需要搭建一个隔离的Python环境。这不仅能避免包版本冲突，还能保持项目的可复现性。推荐使用conda管理环境，如果你还没安装conda，可以从Miniconda官网获取适合你系统的版本。

conda create -n bdd2yolo python=3.8 -y conda activate bdd2yolo

接下来安装必要的依赖包。BDD100K官方提供了一些实用工具，我们需要先获取这些资源：

git clone https://github.com/bdd100k/bdd100k.git cd bdd100k pip install -r requirements.txt

提示：建议将BDD100K数据集和代码仓库放在同一父目录下，这样后续路径处理会更方便。数据集可以从BDD100K官网下载，选择"Detection 2020"版本。

文件目录结构建议如下：

project_root/ ├── bdd100k/ # 克隆的代码仓库 ├── bdd100k_images/ # 存放下载的图片数据 │ ├── train/ │ ├── val/ └── bdd100k_labels/ # 存放标注文件 ├── det_train.json └── det_val.json

2. 理解BDD100K与YOLO格式差异

BDD100K原始格式采用JSON存储，每个标注文件包含以下关键信息：

• 图像基本信息（名称、尺寸等）
• 标注对象列表，每个对象包含：
  • 边界框（左上角x,y + 宽高）
  • 类别标签（如car, person, traffic light等）
  • 其他属性（遮挡情况、截断状态等）

YOLO格式则更为简洁：

• 每个图像对应一个.txt文件
• 每行表示一个对象，格式为：

  class_id center_x center_y width height

  所有坐标值都是相对于图像宽高的归一化值（0-1之间）

转换的关键在于理解两种格式间的数学转换关系。具体来说，需要完成以下计算：

1. 将BDD100K的[x_min, y_min, width, height]转换为YOLO的[center_x, center_y, width, height]
2. 将所有坐标值除以图像宽高进行归一化
3. 将类别名称映射为整数ID

3. 两阶段转换：BDD100K→COCO→YOLO

由于BDD100K官方提供了到COCO格式的转换工具，我们可以利用这个现成方案简化流程。虽然看起来多了一步，但实际上能避免很多边界情况的处理。

3.1 转换为COCO格式

使用官方工具进行第一步转换：

python -m bdd100k.label.to_coco -m det \ -i "path/to/det_train.json" \ -o "path/to/det_train_coco.json" \ --nproc 4 # 根据CPU核心数调整

这个命令会生成符合COCO标准的JSON文件。主要变化包括：

• 重新组织标注结构
• 统一类别ID系统
• 规范化边界框表示

注意：如果处理大型数据集（如10万+图像），建议使用SSD硬盘并增加--nproc值以加速转换。

3.2 COCO到YOLO的终极转换

现在来到核心环节——将COCO格式转为YOLO所需的.txt文件。下面这个增强版脚本不仅完成基础转换，还添加了错误处理和日志功能：

import json import os from tqdm import tqdm import logging def coco2yolo(coco_json_path, output_dir, decimal_places=6): """ 将COCO格式标注转换为YOLO格式 参数: coco_json_path: COCO JSON文件路径 output_dir: YOLO标签输出目录 decimal_places: 坐标值保留小数位数 """ # 配置日志 logging.basicConfig( filename='conversion.log', level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s' ) try: # 创建输出目录 os.makedirs(output_dir, exist_ok=True) # 读取COCO数据 with open(coco_json_path, 'r', encoding='utf-8') as f: coco_data = json.load(f) # 构建映射关系 images = {img['id']: img for img in coco_data['images']} categories = {cat['id']: cat['name'] for cat in coco_data['categories']} # 进度条 pbar = tqdm(coco_data['annotations'], desc="转换进度") for ann in pbar: try: img_info = images[ann['image_id']] img_w, img_h = img_info['width'], img_info['height'] # 边界框转换 x_min, y_min, w, h = ann['bbox'] center_x = (x_min + w/2) / img_w center_y = (y_min + h/2) / img_h norm_w, norm_h = w/img_w, h/img_h # 格式化字符串 fmt_str = f"{{:.{decimal_places}f}}" yolo_line = f"{ann['category_id']-1} " + \ f"{fmt_str.format(center_x)} " + \ f"{fmt_str.format(center_y)} " + \ f"{fmt_str.format(norm_w)} " + \ f"{fmt_str.format(norm_h)}" # 写入文件 txt_name = f"{os.path.splitext(img_info['file_name'])[0]}.txt" txt_path = os.path.join(output_dir, txt_name) with open(txt_path, 'a') as f: f.write(yolo_line + '\n') except Exception as e: logging.error(f"处理标注{ann['id']}时出错: {str(e)}") continue logging.info("转换完成！") print(f"标签已成功转换到: {output_dir}") except Exception as e: logging.critical(f"转换失败: {str(e)}") raise

这个脚本的改进点包括：

• 添加了详细的日志记录，方便排查问题
• 支持自定义坐标值精度（通过decimal_places参数）
• 使用tqdm显示进度条
• 完善的异常处理机制

4. 验证与常见问题排查

转换完成后，强烈建议进行质量检查。这里提供一个验证脚本，可以统计各类别的分布情况：

import os import collections def analyze_yolo_labels(label_dir): """ 分析YOLO格式标签的分布情况 参数: label_dir: 包含YOLO标签的目录 """ class_counts = collections.defaultdict(int) total_objects = 0 for label_file in os.listdir(label_dir): if not label_file.endswith('.txt'): continue with open(os.path.join(label_dir, label_file), 'r') as f: for line in f: class_id = int(line.split()[0]) class_counts[class_id] += 1 total_objects += 1 print(f"总标注对象数: {total_objects}") print("各类别分布:") for class_id, count in sorted(class_counts.items()): print(f" 类别{class_id}: {count}个 ({count/total_objects:.1%})")

常见问题及解决方案：

5. 高效处理大规模数据的技巧

当处理完整的BDD100K数据集（约10万张图像）时，可以考虑以下优化策略：

并行处理改进版脚本：

from multiprocessing import Pool import json import os def process_annotation(args): ann, img_info, output_dir, decimal_places = args try: img_w, img_h = img_info['width'], img_info['height'] x_min, y_min, w, h = ann['bbox'] center_x = (x_min + w/2) / img_w center_y = (y_min + h/2) / img_h norm_w, norm_h = w/img_w, h/img_h fmt_str = f"{{:.{decimal_places}f}}" yolo_line = f"{ann['category_id']-1} {fmt_str.format(center_x)} {fmt_str.format(center_y)} {fmt_str.format(norm_w)} {fmt_str.format(norm_h)}" txt_name = f"{os.path.splitext(img_info['file_name'])[0]}.txt" txt_path = os.path.join(output_dir, txt_name) with open(txt_path, 'a') as f: f.write(yolo_line + '\n') return True except: return False def parallel_coco2yolo(coco_json_path, output_dir, workers=8): with open(coco_json_path) as f: coco_data = json.load(f) images = {img['id']: img for img in coco_data['images']} os.makedirs(output_dir, exist_ok=True) args = [(ann, images[ann['image_id']], output_dir, 6) for ann in coco_data['annotations']] with Pool(workers) as p: results = list(p.imap(process_annotation, args)) success_rate = sum(results)/len(results) print(f"转换成功率: {success_rate:.2%}")

其他实用技巧：

• 增量处理：对于特别大的数据集，可以分批读取和处理JSON文件
• 内存映射：使用mmap处理超大JSON文件
• SSD缓存：将临时文件放在SSD上加速IO操作
• 类别重映射：在转换过程中调整类别ID，适应你的特定任务

6. 与YOLOv5/v8训练流程的衔接

成功转换后的数据集应该按照YOLO要求的目录结构组织：

bdd100k_yolo/ ├── images/ │ ├── train/ # 训练集图片 │ └── val/ # 验证集图片 └── labels/ ├── train/ # 训练集标签 └── val/ # 验证集标签

创建YOLO数据配置文件bdd100k.yaml：

# BDD100K数据集配置 train: ../bdd100k_yolo/images/train val: ../bdd100k_yolo/images/val # 类别数和名称 nc: 10 names: ['pedestrian', 'rider', 'car', 'truck', 'bus', 'train', 'motorcycle', 'bicycle', 'traffic light', 'traffic sign']

然后就可以用YOLO命令行开始训练了：

python train.py --img 640 --batch 16 --epochs 50 --data bdd100k.yaml --weights yolov5s.pt

专业提示：BDD100K包含许多小目标（如远处的交通标志），建议：

• 使用更大的输入分辨率（如1280x1280）
• 启用mosaic数据增强
• 调整anchor boxes以适应交通场景目标尺寸