当前位置：首页 > news >正文

树莓派智能小车：AI视觉与自动避障实战

news 2026/7/19 7:29:11

1. 项目概述与硬件选型

这个基于树莓派的智能小车项目整合了自动避障、实时图像传输、视觉车道线循迹、目标检测和网球追踪五大核心功能。作为嵌入式AI的典型应用案例，它完美展现了如何将传感器技术、计算机视觉和运动控制有机结合。我选择树莓派3B+作为主控平台，主要考虑到其GPIO接口丰富、社区支持完善，且能流畅运行轻量级AI模型。

硬件配置清单：

主控：树莓派3B+（建议使用4B以获得更好性能）
电机驱动：L298N双H桥驱动模块
传感器：HC-SR04超声波模块 + TCRT5000红外避障传感器
视觉系统：树莓派官方CSI摄像头（建议选择广角镜头）
车体：四轮驱动底盘（电机型号JG-37，减速比1:48）

关键提示：选购电机时需注意扭矩参数，我们实测发现至少需要3kg·cm的扭矩才能保证在复杂地形下的通过性。过小的扭矩会导致网球追踪时响应迟缓。

2. 系统架构设计与环境搭建

2.1 软件栈组成

项目采用模块化设计，主要软件组件包括：

操作系统：Raspbian Buster（2020-08-20版本）
核心库：
- Python 3.7 + OpenCV 4.1.0
- TensorFlow Lite 2.1（用于目标检测）
- PiCamera库（优化摄像头访问）
通信协议：UDP图像传输（比TCP节省30%带宽）

2.2 开发环境配置

更换国内源是首要步骤，否则依赖安装可能失败：

# 更换apt源 sudo sed -i 's|raspbian.raspberrypi.org|mirrors.ustc.edu.cn/raspbian|g' /etc/apt/sources.list # 更换pip源 mkdir -p ~/.pip echo "[global] index-url = https://pypi.tuna.tsinghua.edu.cn/simple" > ~/.pip/pip.conf

OpenCV安装有个小技巧——使用预编译版本：

pip3 install opencv-python==4.1.0.25 pip3 install opencv-contrib-python-headless

3. 核心功能实现细节

3.1 多传感器融合避障系统

避障逻辑采用分层决策机制：

超声波传感器（20Hz采样）提供前方30-200cm距离检测
左右红外传感器（50Hz采样）检测侧面障碍
决策矩阵：

前方距离	左侧障碍	右侧障碍	执行动作
>50cm	无	无	全速前进
30-50cm	有	无	右转15°
<30cm	有	有	后退+右转90°

实际测试中发现，超声波在软质障碍物（如窗帘）上检测不可靠，这时红外传感器就成为关键备份。我们在代码中实现了传感器数据融合：

def get_safe_direction(): us_dist = ultrasound.get_distance() ir_left = infrared.left_obstacle() ir_right = infrared.right_obstacle() if us_dist < 30 and ir_left and ir_right: return "BACK_RIGHT" elif us_dist < 50: if ir_left: return "RIGHT" if ir_right: return "LEFT" return "FORWARD"

3.2 低延迟图像传输方案

经过对比测试，我们最终选择UDP协议传输JPEG压缩帧，关键优化点包括：

分片传输：每帧拆分为1024字节的包
动态质量调整：根据网络状况在50-80%间调整JPEG质量
帧校验机制：

# 发送端 def send_frame(socket, frame): _, buffer = cv2.imencode('.jpg', frame, [cv2.IMWRITE_JPEG_QUALITY, 70]) socket.sendto(len(buffer).to_bytes(4, 'big'), (HOST, PORT)) # 先发长度 for i in range(0, len(buffer), 1024): socket.sendto(buffer[i:i+1024], (HOST, PORT)) # 接收端 def recv_frame(socket): length = int.from_bytes(socket.recv(4), 'big') buffer = bytearray() while len(buffer) < length: buffer += socket.recv(min(1024, length - len(buffer))) return cv2.imdecode(np.frombuffer(buffer, dtype=np.uint8), cv2.IMREAD_COLOR)

实测在局域网环境下可实现200ms端到端延迟，满足实时监控需求。如果使用树莓派4的5GHz WiFi，延迟可降至120ms左右。

4. 计算机视觉算法实现

4.1 车道线检测优化方案

传统方法采用固定阈值二值化，我们发现针对不同光照条件需要动态调整：

def adaptive_binarize(frame): gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) if np.mean(gray) < 50: # 低光照环境 _, binary = cv2.threshold(gray, 60, 255, cv2.THRESH_BINARY_INV) else: _, binary = cv2.threshold(gray, 100, 255, cv2.THRESH_BINARY_INV) return binary

车道线检测加入滑动窗口验证机制，避免误检：

在图像下半部分划定ROI区域
使用滑动窗口统计像素分布
只有连续3个窗口检测到线才确认为有效车道线

4.2 轻量级目标检测部署

选用SSDLite-MobileNetV2模型，经过以下优化：

量化训练：将模型从FP32转为INT8，体积缩小4倍
输入分辨率调整为240x240
自定义类别（仅保留person, car, dog等10类）

部署步骤：

# 转换模型为TFLite格式 tflite_convert \ --output_file=model.tflite \ --graph_def_file=ssdlite_mobilenet_v2_coco.pb \ --input_arrays=normalized_input_image_tensor \ --output_arrays='TFLite_Detection_PostProcess,TFLite_Detection_PostProcess:1,TFLite_Detection_PostProcess:2,TFLite_Detection_PostProcess:3' \ --inference_type=QUANTIZED_UINT8 \ --mean_values=128 \ --std_dev_values=128 \ --change_concat_input_ranges=false \ --allow_custom_ops

在树莓派3B+上可实现1.2FPS的检测速度，足够用于静态场景分析。

5. 网球追踪系统深度优化

5.1 多模态检测算法

结合颜色和形状特征提高鲁棒性：

HSV颜色空间过滤（H:25-50, S>100, V>50）
霍夫圆检测（minDist=20, param1=50, param2=30）
轮廓分析（圆形度>0.7）

def detect_tennis(frame): hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV) mask = cv2.inRange(hsv, (25, 100, 50), (50, 255, 255)) circles = cv2.HoughCircles(mask, cv2.HOUGH_GRADIENT, 1, 20, param1=50, param2=30, minRadius=10, maxRadius=100) if circles is not None: circles = np.uint16(np.around(circles)) for i in circles[0,:]: contour = mask[i[1]-i[2]:i[1]+i[2], i[0]-i[2]:i[0]+i[2]] if cv2.contourArea(contour) > 0.7*np.pi*i[2]**2: return (i[0], i[1], i[2]) return None