当前位置：首页 > news >正文

别再死磕公式了！用OpenCV+Python实战双目立体匹配（附视差图生成代码）

news 2026/8/21 17:08:04

实战双目立体匹配：从相机标定到视差图生成的完整指南

双目立体视觉是计算机视觉中实现三维感知的核心技术之一。不同于单目相机只能获取二维信息，双目系统通过模拟人类双眼视差原理，能够计算出场景中每个点的深度值。这项技术在机器人导航、三维扫描、自动驾驶等领域有着广泛应用。本文将带你用Python和OpenCV一步步实现完整的双目立体匹配流程，避开复杂的数学推导，专注于可落地的代码实践。

1. 环境准备与相机标定

1.1 安装必要的库

确保你的Python环境已经安装以下关键库：

pip install opencv-contrib-python numpy matplotlib

特别提醒：OpenCV的contrib版本包含了标准版没有的立体匹配算法。推荐使用OpenCV 4.5+版本以获得最佳性能。

1.2 相机标定实战

相机标定是双目视觉的第一步，目的是获取相机的内参（焦距、主点坐标等）和畸变系数。我们使用棋盘格进行标定：

import cv2 import numpy as np # 准备标定板参数 CHECKERBOARD = (9,6) # 内角点数量 criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) # 存储3D和2D点 objpoints = [] # 世界坐标系中的3D点 imgpoints = [] # 图像中的2D点 # 准备世界坐标点 (0,0,0), (1,0,0), (2,0,0)...,(8,5,0) objp = np.zeros((CHECKERBOARD[0]*CHECKERBOARD[1],3), np.float32) objp[:,:2] = np.mgrid[0:CHECKERBOARD[0],0:CHECKERBOARD[1]].T.reshape(-1,2) # 标定过程 images = glob.glob('calibration_images/*.jpg') for fname in images: img = cv2.imread(fname) gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY) # 查找角点 ret, corners = cv2.findChessboardCorners(gray, CHECKERBOARD, None) if ret: objpoints.append(objp) corners2 = cv2.cornerSubPix(gray,corners,(11,11),(-1,-1),criteria) imgpoints.append(corners2) # 绘制并显示角点 img = cv2.drawChessboardCorners(img, CHECKERBOARD, corners2,ret) cv2.imshow('img',img) cv2.waitKey(500) cv2.destroyAllWindows() # 相机标定 ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera( objpoints, imgpoints, gray.shape[::-1], None, None)

提示：拍摄标定图像时，棋盘格应覆盖整个视野的不同位置和角度，建议15-20张不同角度的图像。

1.3 双目相机标定

完成单目标定后，需要进行双目标定以获取两个相机之间的相对位置关系：

# 立体标定 flags = 0 flags |= cv2.CALIB_FIX_INTRINSIC # 使用单目标定结果 ret, _, _, _, _, R, T, E, F = cv2.stereoCalibrate( objpoints, imgpoints_left, imgpoints_right, mtx_left, dist_left, mtx_right, dist_right, image_size, criteria=criteria, flags=flags)

标定完成后，你会得到两个相机之间的旋转矩阵R和平移向量T，这是后续立体匹配的关键参数。

2. 图像校正与极线对齐

2.1 立体校正

原始的双目图像通常不满足极线约束，需要通过立体校正使对应点位于同一水平线上：

# 计算校正变换 R1, R2, P1, P2, Q, roi1, roi2 = cv2.stereoRectify( mtx_left, dist_left, mtx_right, dist_right, image_size, R, T, alpha=0) # 生成校正映射 map1x, map1y = cv2.initUndistortRectifyMap( mtx_left, dist_left, R1, P1, image_size, cv2.CV_32FC1) map2x, map2y = cv2.initUndistortRectifyMap( mtx_right, dist_right, R2, P2, image_size, cv2.CV_32FC1) # 应用校正 img_left_rect = cv2.remap(img_left, map1x, map1y, cv2.INTER_LINEAR) img_right_rect = cv2.remap(img_right, map2x, map2y, cv2.INTER_LINEAR)

校正前后的图像对比如下：

校正前	校正后

2.2 极线对齐验证

校正后，我们可以绘制水平线验证极线对齐效果：

# 绘制水平线验证校正效果 for i in range(0, img_left_rect.shape[0], 30): cv2.line(img_left_rect, (0,i), (img_left_rect.shape[1],i), (0,255,0), 1) cv2.line(img_right_rect, (0,i), (img_right_rect.shape[1],i), (0,255,0), 1) cv2.imshow('left_rect', img_left_rect) cv2.imshow('right_rect', img_right_rect) cv2.waitKey(0)

理想情况下，左右图像中的对应特征点应该位于同一水平线上。

3. 立体匹配算法实现

OpenCV提供了两种主要的立体匹配算法：BM（Block Matching）和SGBM（Semi-Global Block Matching）。我们重点介绍效果更好的SGBM算法。

3.1 SGBM参数配置

# SGBM参数设置 window_size = 3 min_disp = 0 num_disp = 16*5 # 必须是16的整数倍 stereo = cv2.StereoSGBM_create( minDisparity=min_disp, numDisparities=num_disp, blockSize=window_size, P1=8*3*window_size**2, P2=32*3*window_size**2, disp12MaxDiff=1, uniquenessRatio=10, speckleWindowSize=100, speckleRange=32, mode=cv2.STEREO_SGBM_MODE_SGBM_3WAY )

关键参数说明：

numDisparities: 最大视差减去最小视差，值越大检测的深度范围越大，但计算量也越大
blockSize: 匹配块大小，奇数，通常在3-11之间
P1,P2: 控制视差平滑度的参数，P2通常大于P1
uniquenessRatio: 唯一性比率，值越大匹配越严格

3.2 视差图计算

# 计算视差图 disp = stereo.compute(img_left_rect, img_right_rect).astype(np.float32) / 16.0 # 视差图后处理 disp = cv2.normalize(disp, None, alpha=0, beta=255, norm_type=cv2.NORM_MINMAX, dtype=cv2.CV_8U) # 显示视差图 cv2.imshow('Disparity', disp) cv2.waitKey(0)

3.3 视差图优化

原始视差图通常包含噪声和无效区域，我们可以进行以下优化：

# 视差图滤波 wls_filter = cv2.ximgproc.createDisparityWLSFilter(stereo) wls_filter.setLambda(8000) wls_filter.setSigmaColor(1.5) filtered_disp = wls_filter.filter(disp, img_left_rect) # 空洞填充 right_matcher = cv2.ximgproc.createRightMatcher(stereo) right_disp = right_matcher.compute(img_right_rect, img_left_rect) right_disp = right_disp.astype(np.float32) / 16.0 wls_filter.setLambda(8000) wls_filter.setSigmaColor(1.5) filtered_disp = wls_filter.filter(disp, img_left_rect, disparity_map_right=right_disp)

4. 深度图生成与应用

4.1 从视差到深度

利用标定得到的Q矩阵，我们可以将视差图转换为深度图：

# 转换为3D点云 points = cv2.reprojectImageTo3D(disp, Q) # 提取深度信息 depth_map = points[:,:,2] # 可视化深度图 depth_map = cv2.normalize(depth_map, None, 0, 255, cv2.NORM_MINMAX, cv2.CV_8U) cv2.imshow('Depth Map', depth_map) cv2.waitKey(0)

4.2 实际应用示例

以机器人避障为例，我们可以设置深度阈值检测障碍物：

# 设置安全距离阈值(单位：米) safe_distance = 1.0 # 创建障碍物掩膜 obstacle_mask = np.zeros_like(depth_map, dtype=np.uint8) obstacle_mask[depth_map < safe_distance*1000] = 255 # 在原图上标记障碍物 result = cv2.bitwise_and(img_left_rect, img_left_rect, mask=obstacle_mask) cv2.imshow('Obstacle Detection', result) cv2.waitKey(0)

4.3 性能优化技巧

分辨率调整：高分辨率图像会显著增加计算量，可先降采样处理
ROI设置：只对感兴趣区域进行立体匹配
参数调优：根据场景特点调整SGBM参数
GPU加速：使用OpenCV的CUDA模块加速计算

# 使用CUDA加速的示例 if cv2.cuda.getCudaEnabledDeviceCount() > 0: gpu_left = cv2.cuda_GpuMat(img_left_rect) gpu_right = cv2.cuda_GpuMat(img_right_rect) stereo = cv2.cuda.createStereoBM(numDisparities=64, blockSize=21) disp_gpu = stereo.compute(gpu_left, gpu_right) disp = disp_gpu.download()