OpenCVSharp：在实际应用中使用 KAZE 算法进行特征匹配

概述

前面已经介绍过了OpenCV中的很多特征检测算法，但是好像还不太清楚具体是怎么使用的，今天以一个完整的例子介绍具体如何使用这些特征检测算法。

效果：

实践

读取两张图像：

// 读取图像 using var img1 = new Mat(FirstImagePath, ImreadModes.Color); using var img2 = new Mat(SecondImagePath, ImreadModes.Color);

检测关键点和计算描述符:

using var descriptors1 = new Mat(); usingvar descriptors2 = new Mat(); usingvar matcher = new BFMatcher(NormTypes.L2SQR); usingvar kaze = KAZE.Create(); // 检测关键点和计算描述符 kaze.DetectAndCompute(img1, null, outvar keypoints1, descriptors1); kaze.DetectAndCompute(img2, null, outvar keypoints2, descriptors2);

使用KNN匹配:

// 使用KNN匹配 DMatch[][] matches = matcher.KnnMatch(descriptors1, descriptors2, 2);

KNN（K-近邻）匹配是一种基于特征点的图像匹配算法，它通过计算两幅图像中特征点之间的距离，为每个特征点找到K个最相似的特征点作为候选匹配对，然后使用比率测试或其他筛选方法来消除错误匹配，最终实现图像间的特征点对应关系建立，广泛应用于图像拼接、目标识别和三维重建等计算机视觉任务中。

前面我们创建了一个暴力匹配器(Brute-Force Matcher)的实例，用于特征点匹配。NormTypes.L2SQR参数指定了距离计算方式为欧几里得距离的平方(L2距离的平方)，这种距离度量适用于SIFT、SURF等特征描述符。

查看KnnMatch的函数签名：

public DMatch[][] KnnMatch(Mat queryDescriptors, Mat trainDescriptors, int k, Mat? mask = null, bool compactResult = false)

这个KnnMatch函数是OpenCV中用于执行K近邻特征匹配的核心方法，它为查询描述符集合中的每个描述符找到训练描述符集合中距离最近的k个匹配项。函数返回一个二维数组DMatch[][]，其中每个子数组包含对应查询描述符的k个最佳匹配结果，按距离从小到大排序。

KnnMatch函数参数说明:

得到的结果如下所示：

进行投票唯一性：

// 投票唯一性 VoteForUniqueness(matches, mask); int nonZero = Cv2.CountNonZero(mask); private static void VoteForUniqueness(DMatch[][] matches, Mat mask, float uniqnessThreshold = 0.80f) { var maskData = newbyte[matches.Length]; var maskHandle = GCHandle.Alloc(maskData, GCHandleType.Pinned); using (var m = Mat.FromPixelData(matches.Length, 1, MatType.CV_8U, maskHandle.AddrOfPinnedObject())) { mask.CopyTo(m); for (int i = 0; i < matches.Length; i++) { // 这也被称为NNDR最近邻距离比率 if ((matches[i][0].Distance / matches[i][1].Distance) <= uniqnessThreshold) maskData[i] = 255; else maskData[i] = 0; } m.CopyTo(mask); } maskHandle.Free(); }

这段代码实现了特征匹配中的唯一性投票机制，也称为NNDR(最近邻距离比率)测试，用于筛选出可靠的匹配对。对每个查询特征点的KNN匹配结果进行唯一性检验,通过比较最佳匹配与次佳匹配的距离比率来判断匹配的可靠性,默认阈值为0.80f，这是经验值，可根据应用场景调整。

进一步过滤KNN匹配结果：

// 投票大小和方向 nonZero = VoteForSizeAndOrientation(keypoints2, keypoints1, matches, mask, 1.5f, 20); static int VoteForSizeAndOrientation(KeyPoint[] modelKeyPoints, KeyPoint[] observedKeyPoints, DMatch[][] matches, Mat mask, float scaleIncrement, int rotationBins) { int idx = 0; int nonZeroCount = 0; byte[] maskMat = newbyte[mask.Rows]; GCHandle maskHandle = GCHandle.Alloc(maskMat, GCHandleType.Pinned); using (Mat m = Mat.FromPixelData(mask.Rows, 1, MatType.CV_8U, maskHandle.AddrOfPinnedObject())) { mask.CopyTo(m); List<float> logScale = new List<float>(); List<float> rotations = new List<float>(); double s, maxS, minS, r; maxS = -1.0e-10f; minS = 1.0e10f; // 如果在这里得到异常，那是因为你传入的模型和观察关键点顺序错误。只需切换顺序。 for (int i = 0; i < maskMat.Length; i++) { if (maskMat[i] > 0) { KeyPoint observedKeyPoint = observedKeyPoints[i]; KeyPoint modelKeyPoint = modelKeyPoints[matches[i][0].TrainIdx]; s = Math.Log10(observedKeyPoint.Size / modelKeyPoint.Size); logScale.Add((float)s); maxS = s > maxS ? s : maxS; minS = s < minS ? s : minS; r = observedKeyPoint.Angle - modelKeyPoint.Angle; r = r < 0.0f ? r + 360.0f : r; rotations.Add((float)r); } } int scaleBinSize = (int)Math.Ceiling((maxS - minS) / Math.Log10(scaleIncrement)); if (scaleBinSize < 2) scaleBinSize = 2; float[] scaleRanges = { (float)minS, (float)(minS + scaleBinSize + Math.Log10(scaleIncrement)) }; usingvar scalesMat = Mat.FromArray(logScale.ToArray()); usingvar rotationsMat = Mat.FromArray(rotations.ToArray()); usingvar flagsMat = new Mat<float>(logScale.Count, 1); using Mat hist = new Mat(); flagsMat.SetTo(new Scalar(0.0f)); float[] flagsMatFloat1 = flagsMat.ToArray(); int[] histSize = { scaleBinSize, rotationBins }; float[] rotationRanges = { 0.0f, 360.0f }; int[] channels = { 0, 1 }; Rangef[] ranges = { new Rangef(scaleRanges[0], scaleRanges[1]), new Rangef(rotations.Min(), rotations.Max()) }; Mat[] arrs = { scalesMat, rotationsMat }; Cv2.CalcHist(arrs, channels, null, hist, 2, histSize, ranges); Cv2.MinMaxLoc(hist, outdouble minVal, outdouble maxVal); Cv2.Threshold(hist, hist, maxVal * 0.5, 0, ThresholdTypes.Tozero); Cv2.CalcBackProject(arrs, channels, hist, flagsMat, ranges); MatIndexer<float> flagsMatIndexer = flagsMat.GetIndexer(); for (int i = 0; i < maskMat.Length; i++) { if (maskMat[i] > 0) { if (flagsMatIndexer[idx++] != 0.0f) { nonZeroCount++; } else maskMat[i] = 0; } } m.CopyTo(mask); } maskHandle.Free(); return nonZeroCount; }

通过分析匹配对之间的尺度变化和旋转角度一致性来评估匹配质量。

获取匹配点：

// 收集好的匹配点 List<Point2f> obj = new List<Point2f>(); List<Point2f> scene = new List<Point2f>(); List<DMatch> goodMatchesList = new List<DMatch>(); // 遍历掩码，只提取非零项，因为它们是匹配项 for (int i = 0; i < mask.Rows; i++) { MatIndexer<byte> maskIndexer = mask.GetGenericIndexer<byte>(); if (maskIndexer[i] > 0) { obj.Add(keypoints1[matches[i][0].QueryIdx].Pt); scene.Add(keypoints2[matches[i][0].TrainIdx].Pt); goodMatchesList.Add(matches[i][0]); } } // 转换点类型 List<Point2d> objPts = obj.ConvertAll(Point2fToPoint2d); List<Point2d> scenePts = scene.ConvertAll(Point2fToPoint2d); private static Point2d Point2fToPoint2d(Point2f pf) { returnnew Point2d(((int)pf.X), ((int)pf.Y)); }

绘制结果图像：

// 计算单应性矩阵 Mat homography = Cv2.FindHomography(objPts, scenePts, HomographyMethods.Ransac, 1.5, mask); nonZero = Cv2.CountNonZero(mask); if (homography != null) { // 定义对象角点 Point2f[] objCorners = { new Point2f(0, 0), new Point2f(img1.Cols, 0), new Point2f(img1.Cols, img1.Rows), new Point2f(0, img1.Rows) }; // 透视变换 Point2d[] sceneCorners = MyPerspectiveTransform3(objCorners, homography); // 创建拼接图像 using Mat img3 = new Mat(Math.Max(img1.Height, img2.Height), img2.Width + img1.Width, MatType.CV_8UC3); using Mat left = new Mat(img3, new Rect(0, 0, img1.Width, img1.Height)); using Mat right = new Mat(img3, new Rect(img1.Width, 0, img2.Width, img2.Height)); img1.CopyTo(left); img2.CopyTo(right); // 获取掩码数组 mask.GetArray(outbyte[] maskBytes); // 绘制匹配 Cv2.DrawMatches(img1, keypoints1, img2, keypoints2, goodMatchesList, img3, Scalar.All(-1), Scalar.All(-1), maskBytes, DrawMatchesFlags.NotDrawSinglePoints); // 绘制检测到的对象边界 List<List<Point>> listOfListOfPoint2D = new List<List<Point>>(); List<Point> listOfPoint2D = new List<Point> { new Point(sceneCorners[0].X + img1.Cols, sceneCorners[0].Y), new Point(sceneCorners[1].X + img1.Cols, sceneCorners[1].Y), new Point(sceneCorners[2].X + img1.Cols, sceneCorners[2].Y), new Point(sceneCorners[3].X + img1.Cols, sceneCorners[3].Y) }; listOfListOfPoint2D.Add(listOfPoint2D); img3.Polylines(listOfListOfPoint2D, true, Scalar.LimeGreen, 2);