• python利用opencv进行相机标定获取参数,并根据畸变参数修正图像附有全部代码(流畅无痛版)


    python利用opencv进行相机标定获取参数,并根据畸变参数修正图像附有全部代码

    一、前言

    今天的低价单孔摄像机(照相机)会给图像带来很多畸变。畸变主要有两
    种:径向畸变和切想畸变。如下图所示,用红色直线将棋盘的两个边标注出来,
    但是你会发现棋盘的边界并不和红线重合。所有我们认为应该是直线的也都凸
    出来了。
    在这里插入图片描述

    在 3D 相关应用中,必须要先校正这些畸变。为了找到这些纠正参数,我们必
    须要提供一些包含明显图案模式的样本图片(比如说棋盘)。我们可以在上面找
    到一些特殊点(如棋盘的四个角点)。我们起到这些特殊点在图片中的位置以及
    它们的真是位置。有了这些信息,我们就可以使用数学方法求解畸变系数。这
    就是整个故事的摘要了。为了得到更好的结果,我们至少需要 10 个这样的图
    案模式。

    二、获取待标定的摄像头拍摄带棋盘图的图片

    1、运行生成棋盘图的程序:

    import cv2
    import numpy as np
    
    # 定义棋盘格的尺寸
    size = 140
    # 定义标定板尺寸
    boardx = size * 10
    boardy = size * 10
    
    canvas = np.zeros((boardy, boardx, 1), np.uint8) # 创建画布
    for i in range(0, boardx):
        for j in range(0, boardy):
            if (int(i/size) + int(j/size)) % 2 != 0: # 判定是否为奇数格
                canvas[j, i] = 255
    cv2.imwrite("./chessboard.png", canvas)
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15

    生成结果如下:

    在这里插入图片描述

    2、打印图片并张贴至平板上

    将棋盘图用A4纸打印,并将将A4纸贴到一个很平的板子上固定好
    例子如下:
    有钱的大佬,可以直接买标定板。
    注意,如果是打印的棋盘格一定要贴平,不然标定不准确
    在这里插入图片描述

    3、拍摄畸变图像

    使用相机从不同角度,不同位置拍摄(15-20)张标定图。类似这样的:

    在这里插入图片描述

    python调用opencv相机拍照代码(例):

    
    import cv2
    camera = cv2.VideoCapture(0)
    i = 0
    ret, img = camera.read()
    print('输入j,下载当前图片')
    print('输入q,终止程序')
    while ret:
    
        cv2.imshow('img', img)
        ret, img = camera.read()
    
        if cv2.waitKey(1) & 0xFF == ord('j'):  # 按j保存一张图片
            i += 1
            firename = str('./img' + str(i) + '.jpg')
            cv2.imwrite(firename, img)
            print('写入:', firename)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    cv2.release()
    cv2.destroyAllWindows()
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21

    按j拍摄图片,将会按照顺序批量保存,按q退出程序。

    三、相机标定程序流程及相关原理解释

    注:该部分只起解释作用并无实际操作,正式操作可以跳过直接执行第四步

    1、利用opencv寻找棋盘

    为了找到棋盘的图案,我们要使用函数 cv2.findChessboardCorners()。
    我们还需要传入图案的类型,比如说 8x8 的格子或 5x5 的格子等。在本例中
    我们使用的9×6 的格子。(通常情况下棋盘都是 8x8 或者 7x7)。它会返
    回角点,如果得到图像的话返回值类型(Retval)就会是 True。这些角点会
    按顺序排列(从左到右,从上到下)

    这个函数可能不会找出所有图像中应有的图案。所以一个好的方法是编
    写代码,启动摄像机并在每一帧中检查是否有应有的图案。在我们获得图案之后我们要找到角点并把它们保存成一个列表。在读取下一帧图像之前要设置一定的间隔,这样我们就有足够的时间调整棋盘的方向。继续这个过程直到我们得到足够多好的图案。就算是我们举得这个例子,在所有的14 幅图像中也不知道有几幅是好的。所以我们要读取每一张图像从其中找到好的能用的。

    除 了 使 用 棋 盘 之 外, 我 们 还 可 以 使 用 环 形 格 子, 但 是 要 使 用 函 数
    cv2.findCirclesGrid() 来找图案。据说使用环形格子只需要很少的图像 就可以了。

    在找到这些角点之后我们可以使用函数 cv2.cornerSubPix() 增加准确
    度。我们使用函数 cv2.drawChessboardCorners() 绘制图案。所有的这
    些步骤都被包含在下面的代码中了:

    在这里插入图片描述

    2、标定

    在得到了这些对象点和图像点之后,我们已经准备好来做摄像机标定了。
    我们要使用的函数是 cv2.calibrateCamera()。它会返回摄像机矩阵,畸
    变系数,旋转和变换向量等。

    3、畸变矫正

    现在我们找到我们想要的东西了,我们可以找到一幅图像来对他进行校正
    了。OpenCV 提供了两种方法,我们都学习一下。不过在那之前我们可以使用
    从函数 cv2.getOptimalNewCameraMatrix() 得到的自由缩放系数对摄
    像机矩阵进行优化。如果缩放系数 alpha = 0,返回的非畸变图像会带有最少量
    的不想要的像素。它甚至有可能在图像角点去除一些像素。如果 alpha = 1,所
    有的像素都会被返回,还有一些黑图像。它还会返回一个 ROI 图像,我们可以
    用来对结果进行裁剪。

    函数:cv2.getOptimalNewCameraMatrix(mtx,dist,(w,h),1,(w,h))中参数1是个坑,

    这里我们使用cv2.getOptimalNewCameraMatrix(mtx,dist,(w,h),0,(w,h))参数设置为0

    4 、畸变到非畸变
    下面代码中

    • dst1图像使用的是 cv2.undistort() 这是最简单的方法。只需使用这个函数和上边得到的 ROI 对结果进行裁剪

    • dst2图像使用的是remapping 这应该属于“曲线救国”了。首先我们要找到从畸变图像到非畸变图像的映射方程。再使用重映射方程。(代码中有详细用法)

    两种效果可以自行对比看看

    纠正前后对比:
    在这里插入图片描述

    5、反向投影误差

    我们可以利用反向投影误差对我们找到的参数的准确性进行估计。得到的
    结果越接近 0 越好。有了内部参数,畸变参数和旋转变换矩阵,我们就可以使
    用 cv2.projectPoints() 将对象点转换到图像点。然后就可以计算变换得到
    图像与角点检测算法的绝对差了。然后我们计算所有标定图像的误差平均值。

    (但是本文不需要,所以没有将其写入)

    四、相机标定程序

    目的:获取相机修正畸变后的内参

    1、配置环境

    a、安装opencv-python

    pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple/
    
    • 1

    b、安装glob

    pip install glob2 -i https://pypi.tuna.tsinghua.edu.cn/simple/
    
    • 1

    2、运行程序获取内参

    import cv2
    import numpy as np
    import glob
    
    
    
    # 找棋盘格角点
    # 设置寻找亚像素角点的参数,采用的停止准则是最大循环次数30和最大误差容限0.001
    criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) # 阈值
    
    #棋盘格模板规格
    w = 9   # 10 - 1  
    h = 9   # 10  - 1
    
    # 世界坐标系中的棋盘格点,例如(0,0,0), (1,0,0), (2,0,0) ....,(8,5,0),去掉Z坐标,记为二维矩阵
    objp = np.zeros((w*h,3), np.float32)
    objp[:,:2] = np.mgrid[0:w,0:h].T.reshape(-1,2)
    objp = objp*18.1  # 18.1 mm
    
    # 储存棋盘格角点的世界坐标和图像坐标对
    objpoints = [] # 在世界坐标系中的三维点
    imgpoints = [] # 在图像平面的二维点
    #加载pic文件夹下所有的jpg图像
    images = glob.glob('./*.jpg')  #   拍摄的十几张棋盘图片所在目录
    
    i=0
    for fname in images:
    
        img = cv2.imread(fname)
        # 获取画面中心点
        #获取图像的长宽
        h1, w1 = img.shape[0], img.shape[1]
        gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
        u, v = img.shape[:2]
        # 找到棋盘格角点
        ret, corners = cv2.findChessboardCorners(gray, (w,h),None)
        # 如果找到足够点对,将其存储起来
        if ret == True:
            print("i:", i)
            i = i+1
            # 在原角点的基础上寻找亚像素角点
            cv2.cornerSubPix(gray,corners,(11,11),(-1,-1),criteria)
            #追加进入世界三维点和平面二维点中
            objpoints.append(objp)
            imgpoints.append(corners)
            # 将角点在图像上显示
            cv2.drawChessboardCorners(img, (w,h), corners, ret)
            cv2.namedWindow('findCorners', cv2.WINDOW_NORMAL)
            cv2.resizeWindow('findCorners', 640, 480)
            cv2.imshow('findCorners',img)
            cv2.waitKey(200)
    cv2.destroyAllWindows()
    #%% 标定
    print('正在计算')
    #标定
    ret, mtx, dist, rvecs, tvecs = \
        cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)
    
    
    print("ret:",ret  )
    print("mtx:\n",mtx)      # 内参数矩阵
    print("dist畸变值:\n",dist   )   # 畸变系数   distortion cofficients = (k_1,k_2,p_1,p_2,k_3)
    print("rvecs旋转(向量)外参:\n",rvecs)   # 旋转向量  # 外参数
    print("tvecs平移(向量)外参:\n",tvecs  )  # 平移向量  # 外参数
    newcameramtx, roi = cv2.getOptimalNewCameraMatrix(mtx, dist, (u, v), 0, (u, v))
    print('newcameramtx外参',newcameramtx)
    #打开摄像机
    camera=cv2.VideoCapture(0)
    while True:
        (grabbed,frame)=camera.read()
        h1, w1 = frame.shape[:2]
        newcameramtx, roi = cv2.getOptimalNewCameraMatrix(mtx, dist, (u, v), 0, (u, v))
        # 纠正畸变
        dst1 = cv2.undistort(frame, mtx, dist, None, newcameramtx)
        #dst2 = cv2.undistort(frame, mtx, dist, None, newcameramtx)
        mapx,mapy=cv2.initUndistortRectifyMap(mtx,dist,None,newcameramtx,(w1,h1),5)
        dst2=cv2.remap(frame,mapx,mapy,cv2.INTER_LINEAR)
        # 裁剪图像,输出纠正畸变以后的图片
        x, y, w1, h1 = roi
        dst1 = dst1[y:y + h1, x:x + w1]
    
        #cv2.imshow('frame',dst2)
        #cv2.imshow('dst1',dst1)
        cv2.imshow('dst2', dst2)
        if cv2.waitKey(1) & 0xFF == ord('q'):  # 按q保存一张图片
            cv2.imwrite("../u4/frame.jpg", dst1)
            break
    
    camera.release()
    cv2.destroyAllWindows()
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56
    • 57
    • 58
    • 59
    • 60
    • 61
    • 62
    • 63
    • 64
    • 65
    • 66
    • 67
    • 68
    • 69
    • 70
    • 71
    • 72
    • 73
    • 74
    • 75
    • 76
    • 77
    • 78
    • 79
    • 80
    • 81
    • 82
    • 83
    • 84
    • 85
    • 86
    • 87
    • 88
    • 89
    • 90

    代码放到图片相同的文件夹直接运行即可
    运行结果如下:
    在这里插入图片描述
    在这里插入图片描述

    五、根据上一步获取的内参修正相机

    在这里插入图片描述
    上一个程序可以运行得到畸变内参,将mtx值保存在k,
    将dist保存在d

    注:复制的时候,数组内部需要手动加一下逗号

    1、视频程序

    import cv2 as cv
    import numpy as np
    
    def undistort(frame):
    
    	k=np.array( [[408.96873567 ,  0.         ,329.01126845],
     [  0.       ,  409.20308599 ,244.73617469],
     [  0.       ,    0.       ,    1.        ]])
    
    	d=np.array([-0.33880708 , 0.16416173 ,-0.00039069 ,-0.00056267 ,-0.056967  ])
    	h,w=frame.shape[:2]
    	mapx,mapy=cv.initUndistortRectifyMap(k,d,None,k,(w,h),5)
    	return cv.remap(frame,mapx,mapy,cv.INTER_LINEAR)
    
    cap=cv.VideoCapture(0)# 换成要打开的摄像头编号
    ret,frame=cap.read()
    while ret:
    	cv.imshow('later',frame)
    	cv.imshow('img',undistort(frame))
    	ret,frame=cap.read()
    	if cv.waitKey(1)&0xff==27:
    		break
    
    cap.release()
    cv.destroyAllWindows()
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25

    2、纠正结果

    效果对比
    纠正前后:

    在这里插入图片描述
    可以看到,畸变被纠正的差不多了。
    畸变这个程序运行一次即可,之后的话,在摄像头每次获取图像的时候都加上上面那个即可

  • 相关阅读:
    住建部发话,9月15日后,全面禁止使用这9项施工工艺、设备和材料
    MEV生态系统中的价值流动
    Verilog入门学习笔记:Verilog基础语法梳理
    基于Python和Pandas对主流婚恋网站数据可视化分析
    My Seventy-fifth Page - 组合总和Ⅳ - By Nicolas
    MAVEN——PACKAGE、INSTALL、DEPLOY的联系与区别
    CSS - 移动端布局(一)关键的前置知识
    05 Mybatis官方代码生成器的使用
    【云原生】简单谈谈分布式存储组件HBase
    QT串口助手:识别串口号,发送,接收,十六进制
  • 原文地址:https://blog.csdn.net/qq_51116518/article/details/126065796