从PyTorch/YOLOv5到RK3588：我的第一个RKNN模型转换与部署实战记录

从PyTorch/YOLOv5到RK3588：我的第一个RKNN模型转换与部署实战记录

当我在RK3588开发板上第一次看到YOLOv5模型实时检测出摄像头画面中的物体时，那种成就感至今难忘。作为一款面向边缘计算的高性能处理器，RK3588凭借6TOPS的NPU算力，让原本只能在服务器运行的视觉模型真正落地到嵌入式设备。本文将完整还原我的模型转换与部署历程，涵盖从PyTorch训练、ONNX导出到RKNN转换的全流程实战细节。

1. 环境准备：构建RKNN转换工具链

1.1 开发环境配置

RKNN-Toolkit2作为模型转换的核心工具，对Python环境有特定要求。经过多次尝试，我最终确定以下稳定配置方案：

# 创建Python3.6虚拟环境 virtualenv -p /usr/bin/python3.6 rknn_env source rknn_env/bin/activate

关键依赖安装命令：

# 系统级依赖 sudo apt-get install libxslt1-dev zlib1g-dev libglib2.0-0 libsm6 libgl1-mesa-glx # Python包依赖（使用清华镜像源加速） pip3 install numpy==1.16.6 -i https://pypi.tuna.tsinghua.edu.cn/simple pip3 install -r requirements_cp36-1.3.0.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：若遇到bfloat16安装失败，可暂时跳过该包，不影响核心功能

1.2 RKNN-Toolkit2安装验证

下载官方提供的.whl安装包后，执行以下命令：

pip3 install rknn_toolkit2-1.3.0*.whl

验证安装成功的黄金标准：

python3 -c "from rknn.api import RKNN; print('Import success!')"

2. YOLOv5模型转换全流程

2.1 从PyTorch到ONNX

使用Ultralytics官方YOLOv5代码库导出ONNX模型：

import torch model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True) dummy_input = torch.randn(1, 3, 640, 640) torch.onnx.export(model, dummy_input, "yolov5s.onnx", opset_version=12, input_names=['images'], output_names=['output'])

关键参数说明：

2.2 ONNX到RKNN转换实战

创建转换脚本convert.py：

from rknn.api import RKNN rknn = RKNN() ret = rknn.config(target_platform='rk3588', mean_values=[[0, 0, 0]], std_values=[[255, 255, 255]]) ret = rknn.load_onnx(model='yolov5s.onnx') ret = rknn.build(do_quantization=True, dataset='./dataset.txt') ret = rknn.export_rknn('./yolov5s.rknn')

提示：量化数据集建议准备至少100张典型场景图片，写入dataset.txt时每行格式为./images/001.jpg

常见转换错误处理：

• 不支持的算子：尝试修改ONNX opset版本或自定义算子
• 形状推断失败：检查模型输入输出维度是否明确
• 量化精度损失：调整量化策略或增加校准数据集

3. RK3588部署与性能优化

3.1 开发板环境配置

通过ADB连接RK3588开发板：

adb connect 192.168.1.100:5555 adb push yolov5s.rknn /data

安装必要运行时库：

adb shell apt-get install librknnrt

3.2 Python推理接口调用

import cv2 from rknnlite.api import RKNNLite rknn = RKNNLite() ret = rknn.load_rknn('yolov5s.rknn') ret = rknn.init_runtime(core_mask=RKNNLite.NPU_CORE_0) img = cv2.imread('test.jpg') outputs = rknn.inference(inputs=[img])

性能优化技巧：

• 多核并行：设置core_mask=RKNNLite.NPU_CORE_0_1_2启用三核
• 内存复用：在初始化时指定mem_size=512（单位MB）
• 输入预处理：使用OpenCL加速图像resize和颜色空间转换

3.3 实际性能指标

测试环境：RK3588 @ 2.4GHz，NPU频率1GHz

4. 踩坑经验与进阶技巧

4.1 常见问题解决方案

问题1：模型转换成功但推理结果异常

• 检查输入数据归一化方式是否与训练一致
• 验证输出层解码逻辑是否正确适配RKNN

问题2：NPU利用率不足

• 使用npu-top工具监控负载
• 调整batch_size提升吞吐量

4.2 模型压缩进阶

尝试混合量化策略：

rknn.config(quantized_dtype='asymmetric_quantized-8', quantized_algorithm='normal', quantized_method='channel')

效果对比：

4.3 多模型流水线部署

利用RK3588的异构计算架构：

# NPU处理视觉检测 npu_output = rknn_npu.inference(frame) # CPU运行后处理逻辑 boxes = cpu_postprocess(npu_output) # GPU加速可视化渲染 gpu_render(boxes)