• 【OpenMV】形状识别 特征点检测 算法的组合使用

    目录

    形状识别

    圆形检测 

    矩形识别

    特征点检测

    算法的组合使用

    形状识别

    圆形 霍夫圆检测算法 通过霍夫变换查找圆，支持openmv3以上

    矩形 四元检测算法 识别任意大小任意角度的矩形，四元检测算法对图像的失真，畸变没有要求，畸变的图像也可以识别，圆角矩形也可以识别

    还可以线段识别 直线识别，实现查找直角，三角形

    从官网copy的例程

    圆形检测 

    1. # 圆形检测例程
    2. #
    3. # 这个例子展示了如何用Hough变换在图像中找到圆。
    4. # https://en.wikipedia.org/wiki/Circle_Hough_Transform
    5. #
    6. # 请注意，find_circles（）方法将只能找到完全在图像内部的圆。圈子之外的
    7. # 图像/ roi被忽略… 可以写在threshold前面，比如说感兴趣区域只在右半边，就写   roi = (80,0,80,120),
    8. for c in img.find_circles(roi = (80,0,80,120), threshold = 2300, x_margin = 100, y_margin = 10, r_margin = 10,r_min = 20, r_max = 100, r_step = 2):
    9.         img.draw_circle(c.x(), c.y(), c.r(), color = (255, 0, 0))
    10.         print(c)
    11.  
    12.     print("FPS %f" % clock.fps())
    13.  
    14.  
    15.  
    16.  
    17. import sensor, image, time
    18.  
    19. sensor.reset()
    20. sensor.set_pixformat(sensor.RGB565) # 灰度更快
    21. sensor.set_framesize(sensor.QQVGA)  # QQVGA 160*120
    22. sensor.skip_frames(time = 2000)
    23. clock = time.clock()
    24.  
    25. while(True):
    26.     clock.tick()
    27.  
    28.     #lens_corr(1.8)畸变矫正，帧率变低
    29.     #img = sensor.snapshot().lens_corr(1.8)
    30.  
    31.     img = sensor.snapshot()
    32.  
    33.     # Circle对象有四个值: x, y, r (半径), 和 magnitude。
    34.     # magnitude是检测圆的强度。越高越好
    35.  
    36.     # roi 是一个用以复制的矩形的感兴趣区域(x, y, w, h)。如果未指定，
    37.     # ROI 即图像矩形。操作范围仅限于roi区域内的像素。
    38.  
    39.     # x_stride 是霍夫变换时需要跳过的x像素的数量。若已知圆较大，可增加
    40.     # x_stride 。
    41.  
    42.     # y_stride 是霍夫变换时需要跳过的y像素的数量。若已知直线较大，可增加
    43.     # y_stride 。
    44.  
    45.     # threshold 控制从霍夫变换中监测到的圆。只返回大于或等于阈值的圆。
    46.     # 应用程序的阈值正确值取决于图像。注意：一条圆的大小是组成圆所有
    47.     # 索贝尔滤波像素大小的总和。 圆
    48.  
    49.     # x_margin 控制所检测的圆的合并。 圆像素为 x_margin 、 y_margin 和
    50.     # r_margin的部分合并。
    51.  
    52.     # y_margin 控制所检测的圆的合并。 圆像素为 x_margin 、 y_margin 和
    53.     # r_margin 的部分合并。
    54.  
    55.     # r_margin 控制所检测的圆的合并。 圆像素为 x_margin 、 y_margin 和
    56.     # r_margin 的部分合并。
    57.  
    58.     # r_min，r_max和r_step控制测试圆的半径。
    59.     # 缩小测试圆半径的数量可以大大提升性能。
    60.     # threshold = 3500比较合适。如果视野中检测到的圆过多，请增大阈值；
    61.     # 相反，如果视野中检测到的圆过少，请减少阈值。
    62.     for c in img.find_circles(threshold = 2300, x_margin = 100, y_margin = 10, r_margin = 10,r_min = 20, r_max = 100, r_step = 2):
    63.         img.draw_circle(c.x(), c.y(), c.r(), color = (255, 0, 0))
    64.         print(c)
    65.  
    66.     print("FPS %f" % clock.fps())

    矩形识别

    1. 矩形识别
    2.  
    3. # Find Rects Example
    4. #
    5. # 这个例子展示了如何使用april标签代码中的四元检测代码在图像中找到矩形。 四元检测算法以非常稳健的方式检测矩形，并且比基于Hough变换的方法好得多。 例如，即使镜头失真导致这些矩形看起来弯曲，它仍然可以检测到矩形。 圆角矩形是没有问题的！
    6. # (但是，这个代码也会检测小半径的圆)...
    7.  
    8. import sensor, image, time
    9.  
    10. sensor.reset()
    11. sensor.set_pixformat(sensor.RGB565) # 灰度更快(160x120 max on OpenMV-M7)
    12. sensor.set_framesize(sensor.QQVGA)
    13. sensor.skip_frames(time = 2000)
    14. clock = time.clock()
    15.  
    16. while(True):
    17.     clock.tick()
    18.     img = sensor.snapshot()
    19.  
    20.     # 下面的`threshold`应设置为足够高的值，以滤除在图像中检测到的具有
    21.     # 低边缘幅度的噪声矩形。最适用与背景形成鲜明对比的矩形。
    22.  
    23.     for r in img.find_rects(roi =(21,1,68,54), threshold = 10000):       #设置了roi，只在左上角一小部分识别
    24.         img.draw_rectangle(r.rect(), color = (255, 0, 0))
    25.         for p in r.corners(): img.draw_circle(p[0], p[1], 5, color = (0, 255, 0))
    26.         print(r)
    27.  
    28.     print("FPS %f" % clock.fps())
    29.  
    30.

    检测矩形的阈值应该设置高一些，电赛期间，我用的18000，这样检测的效果会更好一些，根据室内室外环境来调整这个threshold

    for r in img.find_rects(roi =(21,1,68,54), threshold = 18000):

    特征点检测

    模板匹配：尽量让目标物体不要变换角度也不要变换大小，识别比较单一，不准确，固定距离的识别，角度也不行！ 最多保存10张，过多图片导致内存问题

    特征点检测：识别目标物体的多个大小多个角度，比较灵活，在检测前保存目标物体的特征

    程序运行的前10s提取目标物体的特征，记录为目标特征，后续与这个目标特征做对比，来判断是否识别到目标

    1. # 利用特征点检测特定物体例程。
    2. # 向相机显示一个对象，然后运行该脚本。 一组关键点将被提取一次，然后
    3. # 在以下帧中进行跟踪。 如果您想要一组新的关键点，请重新运行该脚本。
    4. # 注意：请参阅文档以调整find_keypoints和match_keypoints。
    5. import sensor, time, image
    6.  
    7. # 重置传感器
    8. sensor.reset()
    9.  
    10. # 传感器设置
    11. sensor.set_contrast(3)                  # 设置对比度为3
    12. sensor.set_gainceiling(16)              # 增益上限为16
    13. sensor.set_framesize(sensor.VGA)
    14. sensor.set_windowing((320, 240))        #截取窗口
    15. sensor.set_pixformat(sensor.GRAYSCALE)  #灰度图模式
    16.  
    17. sensor.skip_frames(time = 2000)         #跳过2S
    18. sensor.set_auto_gain(False, value=100)  #自动增益，关闭
    19.  
    20. #画出特征点
    21. def draw_keypoints(img, kpts):
    22.     if kpts:
    23.         print(kpts)
    24.         img.draw_keypoints(kpts)
    25.         img = sensor.snapshot()
    26.         time.sleep_ms(1000)
    27.  
    28. kpts1 = None
    29. #kpts1保存目标物体的特征，可以从文件导入特征，但是不建议这么做。
    30. #kpts1 = image.load_descriptor("/desc.orb")
    31. #img = sensor.snapshot()
    32. #draw_keypoints(img, kpts1)
    33.  
    34. clock = time.clock()
    35.  
    36. while (True):
    37.     clock.tick()
    38.     img = sensor.snapshot()
    39.     if (kpts1 == None):
    40.         #如果是刚开始运行程序，提取最开始的图像作为目标物体特征，kpts1保存目标物体的特征
    41.         #默认会匹配目标特征的多种比例大小，而不仅仅是保存目标特征时的大小，比模版匹配灵活。
    42.         # NOTE: By default find_keypoints returns multi-scale keypoints extracted from an image pyramid.
    43.         kpts1 = img.find_keypoints(max_keypoints=150, threshold=10, scale_factor=1.2)
    44.         #image.find_keypoints(roi=Auto, threshold=20, normalized=False, scale_factor=1.5, max_keypoints=100, corner_detector=CORNER_AGAST)
    45.         #roi表示识别的区域，是一个元组（x,y,w,h）,默认与framsesize大小一致。
    46.         #threshold是0~255的一个阈值，用来控制特征点检测的角点数量。用默认的AGAST特征点检测，这个阈值大概是20。用FAST特征点检测，这个阈值大概是60～80。阈值越低，获得的角点越多。
    47.         #normalized是一个布尔数值，默认是False，可以匹配目标特征的多种大小（比ncc模版匹配效果灵活）。如果设置为True，关闭特征点检测的多比例结果，仅匹配目标特征的一种大小（类似于模版匹配），但是运算速度会更快一些。
    48.         #scale_factor是一个大于1.0的浮点数。这个数值越高，检测速度越快，但是匹配准确率会下降。一般在1.35~1.5左右最佳。
    49.         #max_keypoints是一个物体可提取的特征点的最大数量。如果一个物体的特征点太多导致RAM内存爆掉，减小这个数值。
    50.         #corner_detector是特征点检测采取的算法，默认是AGAST算法。FAST算法会更快但是准确率会下降。
    51.         draw_keypoints(img, kpts1)
    52.         #画出此时的目标特征
    53.     else:
    54.         # 当与最开始的目标特征进行匹配时，默认设置normalized=True，只匹配目标特征的一种大小。
    55.         # NOTE: When extracting keypoints to match the first descriptor, we use normalized=True to extract
    56.         # keypoints from the first scale only, which will match one of the scales in the first descriptor.
    57.         kpts2 = img.find_keypoints(max_keypoints=150, threshold=10, normalized=True)
    58.         #如果检测到特征物体
    59.         if (kpts2):
    60.             #匹配当前找到的特征和最初的目标特征的相似度
    61.             match = image.match_descriptor(kpts1, kpts2, threshold=85)
    62.             #image.match_descriptor(descritor0, descriptor1, threshold=70, filter_outliers=False)。本函数返回kptmatch对象。
    63.             #threshold阈值设置匹配的准确度，用来过滤掉有歧义的匹配。这个值越小，准确度越高。阈值范围0～100，默认70
    64.             #filter_outliers默认关闭。
    65.  
    66.             #match.count()是kpt1和kpt2的匹配的近似特征点数目。
    67.             #如果大于10，证明两个特征相似，匹配成功。
    68.             if (match.count()>10):
    69.                 # If we have at least n "good matches"
    70.                 # Draw bounding rectangle and cross.
    71.                 #在匹配到的目标特征中心画十字和矩形框。
    72.                 img.draw_rectangle(match.rect())
    73.                 img.draw_cross(match.cx(), match.cy(), size=10)
    74.  
    75.             #match.theta()是匹配到的特征物体相对目标物体的旋转角度。
    76.             print(kpts2, "matched:%d dt:%d"%(match.count(), match.theta()))
    77.             # 不建议draw_keypoints画出特征关键点。
    78.             # 注意:如果你想绘制关键点，取消注释
    79.             #img.draw_keypoints(kpts2, size=KEYPOINTS_SIZE, matched=True)
    80.  
    81.     #打印帧率。
    82.     img.draw_string(0, 0, "FPS:%.2f"%(clock.fps()))
    83.

    算法的组合使用

    同时识别颜色和形状

    先…后…

     可以进行多次设置

    1. 只识别红色的圆，用红色圆圈框选，其他用白色矩形框出来
    2. import sensor, image, time
    3.  
    4. sensor.reset()
    5. sensor.set_pixformat(sensor.RGB565)
    6. sensor.set_framesize(sensor.QQVGA)
    7. sensor.skip_frames(time = 2000)
    8. sensor.set_auto_gain(False) # must be turned off for color tracking
    9. sensor.set_auto_whitebal(False) # must be turned off for color tracking
    10. clock = time.clock()
    11.  
    12. while(True):
    13.     clock.tick()
    14.     #img = sensor.snapshot().lens_corr(1.8) #畸变矫正
    15.     img = sensor.snapshot()
    16.     for c in img.find_circles(threshold = 3500, x_margin = 10, y_margin = 10, r_margin = 10,
    17.             r_min = 2, r_max = 100, r_step = 2):
    18.         area = (c.x()-c.r(), c.y()-c.r(), 2*c.r(), 2*c.r())
    19.         #area为识别到的圆的区域，即圆的外接矩形框 roi区域
    20.         statistics = img.get_statistics(roi=area)#像素颜色统计，  统计像素
    21.         print(statistics)
    22.         #(0,100,0,120,0,120)是红色的阈值，所以当区域内的众数（也就是最多的颜色），范围在这个阈值内，就说明是红色的圆。
    23.         #l_mode()，a_mode()，b_mode()是L通道，A通道，B通道的众数。
    24.         if 0<statistics.l_mode()<100 and 0<statistics.a_mode()<127 and 0<statistics.b_mode()<127:#if the circle is red
    25.             img.draw_circle(c.x(), c.y(), c.r(), color = (255, 0, 0))#识别到的红色圆形用红色的圆框出来
    26.         else:
    27.             img.draw_rectangle(area, color = (255, 255, 255))
    28.             #将非红色的圆用白色的矩形框出来
    29.     print("FPS %f" % clock.fps())

    学习视频链接： 

    OpenMV形状识别 | 星瞳科技 (singtown.com)

    OpenMV特征点检测 | 星瞳科技 (singtown.com)

     OpenMV算法的组合使用 | 星瞳科技 (singtown.com)

  • 相关阅读:
    STM32H750 HAL CUBEMX 时钟失败及死机无法下载问题解决
    LLM大模型量化原理
    R语言解释生存分析中危险率和风险率的变化
    C语言获取当前系统时间的几种方式
    FPGA-结合协议时序实现UART收发器（六）：仿真模块SIM_uart_drive_TB
    SAP 多个smartforms同时打印页码问题
    1个程序员单干之：怎样给我的升讯威在线客服系统编写堪比 MSDN 的用户手册
    户外景区亲子儿童剧本杀小程序系统开发搭建
    短视频剪辑矩阵系统开发解决的市场工具难点？
    字符串：比较、拼接、切割、转义字符；相关切割、替换、查找、去除空白、转大小写函数的方法
  • 原文地址：https://blog.csdn.net/weixin_63135906/article/details/130734632