【图像处理】模板匹配的学习笔记

1. 基于像素值相关性的方法

1.1 优势和局限性

优势

• 实现简单：有现成的算法库，例如opencv

局限性

• 对尺度变化敏感：由于模板匹配方法依赖于像素值的直接比较，因此它对图像的尺度变化非常敏感。当目标物体的尺度发生变化时，像素值之间的对应关系可能会发生改变，从而导致匹配结果不准确。

Note：这个问题我们在做爬虫时就遇到过，当屏幕画面出现变化时，APP的图标变小，就出现无法匹配不准确的情况。

1.2 OpenCV的模板匹配算法

• cv.TM_CCOEFF
• cv.TM_CCOEFF_NORMED
• cv.TM_CCORR
• cv.TM_CCORR_NORMED
• cv.TM_SQDIFF
• cv.TM_SQDIFF_NORMED

1.3 匹配代码模板

image = cv2.imread(r"scene.png", cv2.IMREAD_GRAYSCALE)
template = cv2.imread(r"element.png", cv2.IMREAD_GRAYSCALE)
res = cv2.matchTemplate(img, template, cv2.TM_CCOEFF_NORMED)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)

if max_val > 0.8:
    print("Detected")
else:
    print("Not detected")
1
2
3
4
5
6
7
8
9

Note：

1. cv2.TM_CCOEFF_NORMED：相较于其它方法，通常被认为具有较好的鲁棒性

2. 特征点算法

常用的特征子算法（按照提取效果排序）：

• SIFT
• ORB

关于使用Opencv实现基于特征子的目标匹配，请参考官方教程《OpenCV – Features2D + Homography to find a known object》

2.1 SIFT算法（Offcial Choice）

我感觉SIFT还是一项很好的算法，能够提取的特征点很多，并且SIFT还是OpenCV官方Demo中使用的特征子算法，
请参考 OpenCV: Feature Matching + Homography to find Objects

2.2 特征点算法的torch实现

请参考博文《实践教程 | 使用Pytorch从头实现Canny边缘检测》；

2.3 Match算法（模板匹配）

现在我在网上看到的特征点匹配算法有：

• 暴力匹配（BF匹配）
• KNN匹配
• FLANN匹配

BF匹配OpenCV参数说明可以参考《Opencv for python（2）–图像匹配》；
这里我们尽量使用OpenCV已经实现好的匹配算法