星图AI算力平台训练PETRV2-BEV模型：保姆级教程，5步搞定自动驾驶感知

星图AI算力平台训练PETRV2-BEV模型：保姆级教程，5步搞定自动驾驶感知

1. 引言：为什么你需要亲自训练一个BEV模型？

如果你对自动驾驶感兴趣，一定听说过“鸟瞰图”（BEV）感知技术。简单来说，它就像给汽车装上了一双“上帝之眼”，能把周围多个摄像头拍到的画面，拼成一张从正上方往下看的全景地图。这样，车辆就能像玩即时战略游戏一样，清楚地知道周围所有障碍物的精确位置和大小。

PETRV2是目前效果拔群的BEV模型之一。但网上大多数教程只教你怎么“用”现成的模型，很少告诉你如何从零开始“训练”一个。自己训练的好处太多了：你可以用自己采集的数据、针对特定场景（比如中国的复杂路况）做优化、甚至尝试改进模型结构。

今天，我就带你用星图AI算力平台，手把手走完训练PETRV2-BEV模型的完整流程。你不需要准备昂贵的显卡，也不用折腾复杂的环境配置，跟着我的步骤，5个核心环节就能搞定。

2. 第一步：环境准备与数据下载

2.1 激活训练环境

一切开始之前，我们需要进入正确的“工作间”。星图平台已经为我们预置好了所有必要的软件环境，你只需要一行命令就能激活它：

conda activate paddle3d_env

这就像打开了一个专门为Paddle3D框架准备的工具箱，里面Python、PaddlePaddle深度学习框架、CUDA驱动等都已经安装妥当。你可以通过python --version和pip list | grep paddle简单验证一下环境是否正常。

2.2 获取模型的“起点”——预训练权重

从头训练一个大型模型就像从零学一门语言，非常耗时。更聪明的办法是找一个“已经会说话”的模型，然后教它新的“方言”（你的数据）。这就是预训练权重的作用。

运行下面的命令，下载官方提供的PETRV2预训练模型：

wget -O /root/workspace/model.pdparams https://paddle3d.bj.bcebos.com/models/petr/petrv2_vovnet_gridmask_p4_800x320/model.pdparams

这个文件大概有几百兆，它是在大型公开数据集上训练好的，已经学会了如何从图像中识别汽车、行人等通用物体。我们后续的训练，就是在这个“好学生”的基础上进行微调。

2.3 准备“练习题”——NuScenes迷你数据集

为了快速验证流程，我们使用一个轻量化的数据集：NuScenes v1.0-mini。它包含了真实自动驾驶场景中采集的40个片段，数据量小，下载和训练都快。

# 下载数据集压缩包 wget -O /root/workspace/v1.0-mini.tgz https://www.nuscenes.org/data/v1.0-mini.tgz # 创建存放数据的目录 mkdir -p /root/workspace/nuscenes # 解压数据 tar -xf /root/workspace/v1.0-mini.tgz -C /root/workspace/nuscenes

解压后，你的/root/workspace/nuscenes目录里会有samples（图像）、sweeps（点云，本例未使用）、v1.0-mini（标注文件）等文件夹。这些就是模型要学习的“教材”。

3. 第二步：数据预处理与模型试运行

3.1 转换数据格式

模型不能直接“读”原始的图片和JSON标注文件，需要转换成它认识的格式。Paddle3D提供了一个脚本，专门做这个事：

cd /usr/local/Paddle3D # 清理可能存在的旧文件 rm /root/workspace/nuscenes/petr_nuscenes_annotation_* -f # 生成模型所需的标注信息文件 python3 tools/create_petr_nus_infos.py --dataset_root /root/workspace/nuscenes/ --save_dir /root/workspace/nuscenes/ --mode mini_val

这个命令会生成两个.pkl文件。你可以把它们理解为一本“目录索引”，告诉模型每一张图片在哪、图片里每个物体的3D位置和大小是多少。

3.2 验证预训练模型效果

在开始我们的训练之前，先看看这个“好学生”在迷你数据集上能考多少分。这能帮我们建立一个性能基线。

python tools/evaluate.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/nuscenes/

运行后，你会看到类似下面的输出。关键看NDS（NuScenes Detection Score，综合得分）和mAP（平均精度）：

mAP: 0.2669 ... NDS: 0.2878

这个分数不算高，因为预训练模型是在更大的数据集上训练的，而mini数据集样本少、场景简单，有些类别（如trailer）甚至没有出现，导致部分指标为0。但这完全正常，我们的目标就是通过微调，让模型在这个小数据集上考得更好。

4. 第三步：启动模型训练与监控

4.1 开始训练

现在，激动人心的训练环节开始了。我们使用刚才下载的预训练权重作为起点，在mini数据集上进行100轮的微调训练。

python tools/train.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/nuscenes/ \ --epochs 100 \ --batch_size 2 \ --log_interval 10 \ --learning_rate 1e-4 \ --save_interval 5 \ --do_eval

我来解释一下这几个关键参数：

• --config: 模型的结构图纸，定义了网络层、输入尺寸、数据增强方式等。
• --model: 我们加载的“好学生”预训练权重。
• --epochs 100: 把整个训练集反复学习100遍。
• --batch_size 2: 受限于显存，一次喂给模型2个样本。如果你的显卡更好，可以调大这个值，训练更快。
• --learning_rate 1e-4: 学习步长，微调时通常设一个较小的值，避免“学得太猛”忘了以前的知识。
• --save_interval 5&--do_eval: 每训练5轮，就自动保存一次模型快照，并在验证集上测试一次，方便我们挑选最好的模型。

训练开始后，终端会不断打印损失（Loss）值。看到Loss稳步下降，就说明模型正在有效学习。

4.2 可视化训练过程

盯着数字看太枯燥了。我们可以用VisualDL工具，把训练过程变成直观的图表。

首先，启动VisualDL日志服务：

visualdl --logdir ./output/ --host 0.0.0.0

如果你是在星图平台的远程服务器上操作，还需要把服务器的端口映射到本地才能访问。在你本地电脑的终端里运行（注意替换你的服务器地址和端口）：

ssh -p 你的端口号 -L 0.0.0.0:8888:localhost:8040 root@你的服务器地址

然后，在你本地电脑的浏览器里打开http://localhost:8888。你就能看到一个漂亮的仪表盘，里面最重要的两张图是：

1. Loss曲线：应该像一条下滑的坡道，越来越低。
2. NDS/mAP曲线：应该像一条上坡路，越来越高。

如果曲线走势不对（比如Loss剧烈震荡或上升），可能就需要调整学习率等参数了。

5. 第四步：模型导出与效果展示

5.1 导出部署模型

训练完成后，output/best_model目录下保存着验证集上表现最好的模型。但这个模型格式适合继续训练，不适合部署。我们需要把它“固化”成推理格式。

rm -rf /root/workspace/nuscenes_release_model mkdir -p /root/workspace/nuscenes_release_model python tools/export.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model output/best_model/model.pdparams \ --save_dir /root/workspace/nuscenes_release_model

导出后，你会得到inference.pdmodel（模型结构）、inference.pdiparams（模型权重）等文件。这种格式可以被Paddle Inference引擎高效加载，用于开发车载计算单元上的实时感知程序。

5.2 运行Demo看效果

纸上得来终觉浅，是时候看看模型的“实战能力”了。运行Demo脚本，它会随机选取数据集中的一些场景，用我们刚训练好的模型进行推理，并把检测到的3D框画在图片上。

python tools/demo.py /root/workspace/nuscenes/ /root/workspace/nuscenes_release_model nuscenes

如果一切顺利，程序会弹出窗口或保存图片文件，展示模型检测出的车辆、行人等，并用3D框标出它们的位置和朝向。这是最有成就感的一步——你亲手训练的模型，正在“看懂”这个世界。

6. 第五步：挑战升级——在Xtreme1数据集上训练

NuScenes数据集天气路况都比较好。如果你想挑战更复杂的场景，可以试试Xtreme1数据集，它包含了雨、雾、夜间等极端条件。

流程和上面几乎一模一样，只是换一下数据集路径和配置文件。这里我给出关键命令：

1. 准备数据（假设数据已放在/root/workspace/xtreme1_nuscenes_data）：

   cd /usr/local/Paddle3D python3 tools/create_petr_nus_infos_from_xtreme1.py /root/workspace/xtreme1_nuscenes_data/

2. 启动训练：

   python tools/train.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/xtreme1_nuscenes_data/ \ --epochs 100 \ --batch_size 2 \ --log_interval 10 \ --learning_rate 1e-4 \ --save_interval 5 \ --do_eval

   注意：这里使用的配置文件去掉了_nuscene后缀，是针对Xtreme1数据格式的。

3. 导出并验证：

   # 导出模型 python tools/export.py ... # 参数类比上文修改 # 运行Demo python tools/demo.py /root/workspace/xtreme1_nuscenes_data/ /root/workspace/xtreme1_release_model xtreme1

   你会直观地看到，模型在恶劣天气下的检测效果面临更大挑战，这也是自动驾驶感知研究的核心难题之一。

7. 总结与后续探索

恭喜你！跟着这五个核心步骤，你已经成功在星图AI算力平台上完成了PETRV2-BEV模型从训练到部署的全流程。我们回顾一下关键点：

1. 环境与数据是基石：利用平台预置环境，快速准备好模型和数据。
2. 预训练权重是捷径：站在巨人的肩膀上微调，大幅节省时间和算力。
3. 可视化监控是眼睛：用VisualDL实时观察训练状态，及时调整。
4. 模型导出是桥梁：将训练模型转化为可部署的格式，通向实际应用。
5. 复杂数据是挑战：在Xtreme1等数据集上的尝试，揭示了现实场景的复杂性。

接下来你可以尝试：

• 使用更大数据集：将v1.0-mini替换为完整的v1.0-trainval，模型性能会有显著提升。
• 调整模型超参数：尝试不同的学习率、优化器、数据增强策略，看看哪些“组合拳”效果最好。
• 尝试其他BEV模型：在Paddle3D框架里，还有BEVFormer、BEVDepth等优秀模型等着你去探索。
• 部署到边缘设备：将导出的inference模型，尝试部署到Jetson等嵌入式设备上，向真正的车载应用迈进。

自动驾驶感知的世界很大，亲手训练一个模型是理解它的最好方式。希望这篇教程能成为你探索之旅的一块坚实垫脚石。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。