保姆级教程：用Jetson Nano和单目摄像头，从零搭建一个能“认人”的ROS跟随小车

从零构建ROS智能跟随小车：Jetson Nano与单目视觉实战指南

引言：当边缘计算遇见机器人视觉

在创客实验室里，一个能主动识别并跟随主人的智能小车，往往是最能点燃技术热情的入门项目。不同于市面上的玩具级产品，我们将使用NVIDIA Jetson Nano这类专业边缘计算设备，配合机器人操作系统(ROS)框架，实现真正可定制、可扩展的视觉跟随系统。这个项目完美融合了嵌入式AI、计算机视觉和运动控制三大技术方向，特别适合想要跨入智能硬件领域的开发者。

为什么选择单目摄像头方案？相比深度相机，普通USB摄像头成本更低（仅需百元左右），且通过算法优化同样能实现不错的测距精度。整套系统硬件成本可控制在2000元以内，但技术含金量足以作为简历上的亮点项目。下面我将以第一视角带您走过每个关键环节，包括那些官方文档从不会提及的"坑点"。

1. 硬件选型与系统架构设计

1.1 核心组件清单

关键硬件选择标准：平衡性能与功耗，确保所有部件兼容ROS生态。这是我的推荐配置：

提示：购买摄像头时务必确认支持V4L2驱动，这是后续进行图像采集的基础。我曾因贪便宜选了某国产摄像头，结果浪费三天时间解决驱动兼容问题。

1.2 系统通信架构

典型的ROS节点分布式架构如下：

摄像头驱动节点 → 视觉处理节点 → 运动控制节点 ↑ ↑ ↑ USB接口 AI模型推理 PWM电机信号

这个数据流要提前规划好，否则后期会出现消息堵塞。我的经验是：

• 图像传输使用/camera/image_raw话题（sensor_msgs/Image类型）
• 检测结果用自定义消息类型包含位置和距离信息
• 控制指令通过/cmd_vel（geometry_msgs/Twist类型）下发

2. 开发环境搭建与ROS配置

2.1 刷机与基础环境

Jetson Nano建议使用官方提供的JetPack 4.6镜像，已包含CUDA和cuDNN支持。关键步骤：

# 刷机完成后首先扩容存储 sudo ./flash.sh -S 14GiB jetson-nano-emmc mmcblk0p1 # 安装ROS Melodic（Ubuntu 18.04对应版本） sudo sh -c 'echo "deb http://packages.ros.org/ros/ubuntu $(lsb_release -sc) main" > /etc/apt/sources.list.d/ros-latest.list' sudo apt-key adv --keyserver 'hkp://keyserver.ubuntu.com:80' --recv-key C1CF6E31E6BADE8868B172B4F42ED6FBAB17C654 sudo apt update && sudo apt install ros-melodic-desktop-full

常见问题排查：

• 如果apt-get更新失败，可能是软件源配置问题，尝试切换国内镜像
• 安装后记得执行rosdep init和rosdep update
• 摄像头驱动安装：sudo apt install v4l-utils

2.2 创建工作空间

建议采用catkin_tools替代传统catkin_make：

sudo apt install python3-pip pip3 install catkin_tools mkdir -p ~/follow_ws/src cd ~/follow_ws catkin init catkin build

这种模块化编译方式更利于后期扩展。我曾在一个月内迭代了17个版本，catkin_tools的增量编译节省了大量时间。

3. 人体检测模型部署与优化

3.1 轻量级模型选型

在资源受限的Jetson Nano上，需要平衡精度和速度。测试数据对比：

最终选择SSD-MobileNetV2，因为：

• 对正背面识别效果均衡
• 支持TensorRT加速
• 社区资源丰富

3.2 模型转换与部署

将TensorFlow模型转换为TensorRT引擎：

import tensorrt as trt # 创建转换器 TRT_LOGGER = trt.Logger(trt.Logger.WARNING) builder = trt.Builder(TRT_LOGGER) network = builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)) # 解析原始模型 parser = trt.OnnxParser(network, TRT_LOGGER) with open("model.onnx", "rb") as model: if not parser.parse(model.read()): for error in range(parser.num_errors): print(parser.get_error(error)) # 构建优化引擎 builder.max_batch_size = 1 config = builder.create_builder_config() config.max_workspace_size = 1 << 30 engine = builder.build_engine(network, config)

注意：转换过程中可能会遇到层不支持的情况，需要手动添加插件。我在处理SSD的PriorBox层时就踩过这个坑。

4. 单目视觉测距算法实现

4.1 基于几何约束的测距方法

当已知目标实际高度（如成人平均肩宽约40cm），可通过像素高度计算距离：

distance = (focal_length * real_height) / pixel_height

焦距计算代码示例：

import cv2 import numpy as np # 棋盘格标定 pattern_size = (9, 6) obj_points = [] img_points = [] # 生成世界坐标系中的角点 objp = np.zeros((pattern_size[0]*pattern_size[1],3), np.float32) objp[:,:2] = np.mgrid[0:pattern_size[0],0:pattern_size[1]].T.reshape(-1,2) # 检测角点并计算内参 ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera( obj_points, img_points, gray.shape[::-1], None, None) print("焦距:", mtx[0,0])

4.2 卡尔曼滤波稳定数据

原始距离数据存在抖动，需要滤波处理：

from pykalman import KalmanFilter kf = KalmanFilter( transition_matrices=np.array([[1, 1], [0, 1]]), observation_matrices=np.array([[1, 0]]), initial_state_mean=[0, 0], observation_covariance=0.5, transition_covariance=0.1 ) filtered_state_means, _ = kf.filter(measurements)

在我的测试中，滤波后距离数据标准差从±12cm降低到±3cm，跟随动作明显更平滑。

5. 运动控制与跟随逻辑

5.1 PID控制器实现

class PIDController: def __init__(self, Kp, Ki, Kd): self.Kp = Kp self.Ki = Ki self.Kd = Kd self.last_error = 0 self.integral = 0 def compute(self, error, dt): self.integral += error * dt derivative = (error - self.last_error) / dt output = self.Kp*error + self.Ki*self.integral + self.Kd*derivative self.last_error = error return output

参数调试经验：

• 先调Kp直到系统开始振荡
• 然后加Kd抑制振荡
• 最后加Ki消除静差
• 典型值范围：Kp=0.5, Ki=0.01, Kd=0.1

5.2 状态机设计

跟随逻辑需要处理多种情况：

stateDiagram [*] --> Idle Idle --> Tracking: 检测到目标 Tracking --> Following: 目标进入跟随范围 Following --> Lost: 目标消失 Lost --> Searching: 未超时 Searching --> Tracking: 重新发现 Lost --> Idle: 超时

实际编码时，我建议使用ROS的smach库实现状态机：

import smach class TrackingState(smach.State): def __init__(self): smach.State.__init__(self, outcomes=['target_lost', 'in_range']) def execute(self, userdata): if detect_target(): if check_distance() < 1.2: return 'in_range' return 'target_lost'

6. 系统集成与性能优化

6.1 多线程处理架构

为提高实时性，采用生产者-消费者模式：

import threading import queue image_queue = queue.Queue(maxsize=3) def camera_thread(): while True: img = camera.read() if not image_queue.full(): image_queue.put(img) def process_thread(): while True: img = image_queue.get() results = model.predict(img) pub.publish(results) threading.Thread(target=camera_thread).start() threading.Thread(target=process_thread).start()

6.2 性能瓶颈分析

使用jetson_stats工具监控：

sudo jtop

典型优化手段：

• 将OpenCV操作移到GPU（cv2.cuda模块）
• 使用TensorRT加速模型推理
• 降低图像分辨率（但不少于300x300）
• 禁用桌面环境（节省约500MB内存）

在我的设备上，优化后系统延迟从380ms降至120ms，完全满足实时跟随需求。

7. 项目进阶方向

完成基础功能后，可以考虑以下扩展：

• 多目标跟踪：使用DeepSORT算法
• 手势控制：添加简单的停止/跟随手势
• 云端协同：将部分计算卸载到服务器
• 3D避障：增加超声波或ToF传感器

记得在项目GitHub仓库中做好文档，这是我项目的结构供参考：

/docs ├── hardware_setup.md ├── calibration_guide.md /src ├── vision │ ├── detect.py │ └── tracker.py ├── control │ ├── pid.py │ └── motor_driver.py /launch ├── follow.launch

调试过程中最耗时的往往是环境配置和参数调优，建议准备一个SD卡镜像备份，避免每次重头再来。当看到小车第一次稳稳跟随时，那种成就感绝对值得所有的努力。