• Halcon 双相机标定与拼图(一)


    一、概述

    最近有一个多相机标定的项目,大概是4个相机来标定,同一坐标系,然后拼接图,之前双相机标定的时候也大概看看,所以今天就找了那个halcon 案例多学一下,后面我打算做一个对位贴合的东西,类似于VM的那种,最后我想把整个流程封装起来。

    思路:

    1、做联合标定,每个相机的内参标定,但是外参第二个相机是基于第一相机的

    2、获得标定板(只有一个标定板)相机的第一个姿态,作为第一个相机的决定姿态 FirstPose

    这个FirstPose 是对世界坐标的

    3、对第一个相机的绝对姿态还原高度,由于那个标定板是有高度的

    从此开始,第二个参数的pose 是基于第一个相机的

    4、获得第二个相机的相对第一个相机的姿态

    5、我们第二个相机是姿态的,那么我们想要从第二个相机-》世界坐标===>pose2->FirstPose-》世界坐标

    6、把那个尺子的高度也加进去,生成映射  

    7、还原图像 拼接图

    二、算子解释

    create_calib_data

    1. * 创建一个Halcon标定数据模型(即建立标定对象),用于存储相机标定的过程、标定数据以及相机标定或手眼标定的结果
    2. * 'calibration_object'类型用于基于从对象标定的观测中提取的度量信息来校准一个或多个相机的相机内参和相机姿态(相机外参);
    3. * 2 表示两个连个相机
    4. * 1 表示的是一个标定板
    5. * CalibDataID 标定的数据
    6. create_calib_data ('calibration_object', 2, 1, CalibDataID)

    set_calib_data_cam_param 

    1. * set_calib_data_cam_param( : : CalibDataID, CameraIdx, CameraType, CameraParam : ) 功能:在标定数据模型中设置相机的类型和初始参数。
    2. * 参数1:CalibDataID:标定数据模型句柄;
    3. * 参数2:CameraIdx:摄像机索引,默认值为0
    4. * 参数3:CameraType:摄像机类型,默认值: [];
    5. * 参数4:CameraParam:摄像机初始内参。
    6. set_calib_data_cam_param (CalibDataID, 0, [], StartCamParam1)

    set_calib_data_calib_object 

    1. *标定文件 这个是相机标定的重要部分
    2. * set_calib_data_calib_object( : : CalibDataID, CalibObjIdx, CalibObjDescr : )功能:在标定模型中定义标定对象(设置标定板描述文件)。
    3. * 参数1:CalibDataID:标定数据模型句柄;
    4. * 参数2:CalibObjIdx:标定板索引,默认值0
    5. * 参数3:CalibObjDescr:标定板三维点坐标或标定板描述文件名
    6. set_calib_data_calib_object (CalibDataID, 0, 'calplate_160mm.cpd')

     find_calib_object

    1. * find_calib_object(Image : : CalibDataID, CameraIdx, CalibObjIdx, CalibObjPoseIdx, GenParamName, GenParamValue : )功能:找到Halcon标定板,并在标定数据模型中设置提取的点和轮廓。
    2. * 参数1:Image:输入图像;
    3. * 参数1:CalibDataID: 标定数据模型句柄;
    4. * 参数2:CameraIdx: 摄像机索引,默认值为0
    5. * 参数3:CalibObjIdx:标定板索引,默认值0
    6. * 参数4:CalibObjPoseIdx:观察到的标定版的索引;
    7. * 参数5:GenParamName:待设置的通用参数的名称,默认值[];
    8. * 参数6:GenParamValue:待设置的通用参数的值,默认值[]。
    9. *第一个相机(坐标的)
    10. find_calib_object (ImageCam1, CalibDataID, 0, 0, I, [], [])

    get_calib_data

    1. * get_calib_data( : : CalibDataID, ItemType, ItemIdx, DataName : DataValue):查询存储在标定模型中的数据(比如相机的内参和外参)。
    2. * 控制输入参数1:CalibDataID:标定数据模型句柄;
    3. * 控制输入参数2:ItemType:数据类型,'camera':表示要获取数据类型是与摄像机相关数据; 'calib_obj_pose':表示要获取数据类型与标定板位姿相关数据
    4. * 控制输入参数3:ItemIdx:ItemIdx:输入参数,ItemType='camera'时,ItemIdx表示摄像机索引;ItemType='calib_obj_pose'时,ItemIdx是一个数组[CalibObjIdx, CalibObjPoseIdx],其中CalibObjIdx表示标定板索引,CalibObjPoseIdx表示参考位姿的图像索引;
    5. * 控制输入参数4:DataName:输入要查询的属性名,'params'表示摄像机内参数; 'pose'表示摄像机外参数;
    get_calib_data_observ_contours
    1. *get_calib_data_observ_contours( : Contours : CalibDataID, ContourName, CameraIdx, CalibObjIdx, CalibObjPoseIdx : ) 功能:从标定数据模型中提取轮廓。
    2. *图像输出参数:Contours:输出轮廓;
    3. *控制输入参数1:CalibDataID:标定数据模型句柄;
    4. *控制输入参数2:ContourName:待返回的轮廓对象的名称,Default value: 'marks':提取标定板所有标记点的轮廓,'caltab':提取标定板中心6个标记点的轮廓;
    5. *控制输入参数3:CameraIdx:摄像机索引,默认值为0
    6. *控制输入参数4:CalibObjIdx:标定板索引,默认值0
    7. *控制输入参数5:CalibObjPoseIdx:观察到的标定板位姿的索引。
    8. get_calib_data_observ_contours (ContoursCam1, CalibDataID, 'marks', 0, 0, I)
     camera-pose

    获得基于第一个相机的第二个相机的Pose

    1. get_calib_data (CalibDataID, 'camera', 1, 'pose', RelPose2)
    2. *relative 相对
    3. * To get the absolute pose of the second camera, its relative pose needs
    4. * to be inverted and combined with the absolute pose of the first camera.
    5. *为了获得第二个相机的绝对姿态,需要将其相对姿态反转并与第一个相机的绝对姿态合并

    set_origin_pose

    1. *[0,0] --》 获得第一个标定板第一张图形的姿态(这里只有一个标定板)
    2. *我这里是10组图像 只有一个标定板,所以
    3. get_calib_data (CalibDataID, 'calib_obj_pose', [0,0], 'pose', Pose1)
    4. PP:=Pose1
    5. * Since the calibration plate has a certain thickness, the pose of the first camera
    6. * needs to be corrected by the thickness, which is 4mm here.
    7. * set_origin_pose( : : PoseIn, DX, DY, DZ : PoseNewOrigin):计算原始的3D位姿经过向量平移之后新的位姿。
    8. * 控制输入参数1:PoseIn:原始的3D位姿;
    9. * 控制输入参数2:DX:沿着世界坐标的X轴的平移量;
    10. * 控制输入参数3:DY:沿着世界坐标Y轴的平移量;
    11. * 控制输入参数4:DZ:沿着世界坐标Z轴的平移量; 高度 0.004 4mm 表示的标定板的厚度是4mm
    12. * 控制输出参数:PoseNewOrigin:输出新的位姿。
    13. set_origin_pose (Pose1, 0, 0, 0.004, Pose1)

    结果: 

     
     CalibDataID

     image_points_to_world_plane

    1. * image_points_to_world_plane( : : CameraParam, WorldPose, Rows, Cols, Scale : X, Y):将图像点变换到世界坐标系的z=0平面中,
    2. * 并返回它们在3D坐标中的X和Y值。
    3. * Map1 输出隐射
    4. * 控制输入参数1: CameraParam:相机内参;
    5. * 控制输入参数2:WorldPose:相机坐标系中世界坐标系的三维姿态(相机外参);
    6. * 控制输入参数3: (Rows, Cols):待转换点的坐标;
    7. * 控制输入参数4:Scale:比例或尺寸,Default value: 'm'
    8. * 控制输出参数:X:世界坐标系中点的X坐标;
    9. * 控制输出参数:Y:世界坐标系中点的Y坐标。

     gen_image_to_world_plane_map

    1. *gen_image_to_world_plane_map( : Map : CameraParam, WorldPose, WidthIn, HeightIn, WidthMapped, HeightMapped, Scale, MapType : )
    2. *—生成一个投影图,该投影图描述图像平面与世界坐标系的平面z = 0之间的映射。
    3. * Map [OUT] 输出的映射图
    4. * CameraParam [IN] 相机内参
    5. * WorldPose [IN] 世界坐标系在摄像机坐标系中的3D位姿
    6. * WidthIn [IN] 要转换的图像的宽
    7. * HeightIn [IN] 要转换的图像的高
    8. * WidthMapped [IN] 映射图的宽
    9. * HeightMapped [IN] 映射图的高
    10. * Scale [IN] 坐标系的单位尺寸
    11. * 1um的像素大小意味着变换后的图像中的像素对应于测量平面中的1um x 1um区域,默认单位是m
    12. * Scale=像素当量
    13. * MapType[IN] 映射的算法类型
    14. Scale2:=sqrt(4.40189e-06/100)//4.40189e-06mm 是上面标定相机内参得到的像素当量
    15. gen_image_to_world_plane_map (Map1, CamParam1, WorldPose1, WidthCam1, HeightCam1, TargetWidth, TargetHeight, Scale2, 'bilinear')
    16. gen_image_to_world_plane_map (Map2, CamParam2, WorldPose2, WidthCam1, HeightCam1, TargetWidth, TargetHeight, Scale2, 'bilinear')

    三、halcon 代码

    1. dev_update_off ()
    2. *
    3. * Path to the calibration and object images.
    4. ImagePath := '3d_machine_vision/calibrated_mosaic/'
    5. *
    6. * Display workflow explanation text.
    7. dev_close_window ()
    8. dev_open_window (0, 0, 600, 300, 'black', WindowHandle1)
    9. set_display_font (WindowHandle1, 16, 'mono', 'true', 'false')
    10. dev_disp_workflow_text ()
    11. stop ()
    12. *
    13. * Display calibration explanation text.
    14. dev_clear_window ()
    15. dev_disp_calibration_text ()
    16. stop ()
    17. *
    18. dev_close_window ()
    19. dev_open_window (0, 0, 600, 480, 'black', WindowHandle1)
    20. dev_open_window (0, 605, 600, 480, 'black', WindowHandle2)
    21. set_display_font (WindowHandle1, 16, 'mono', 'true', 'false')
    22. set_display_font (WindowHandle2, 16, 'mono', 'true', 'false')
    23. *
    24. * **********************************************************
    25. * *********** Step 1: Calibration of the cameras ***********
    26. * **********************************************************
    27. *
    28. * Number of calibration images.
    29. NumCalibImages := 10
    30. *
    31. *
    32. read_image (ImageCam1, ImagePath + '/calib_cam_1_01')
    33. read_image (ImageCam2, ImagePath + '/calib_cam_2_01')
    34. get_image_size (ImageCam1, WidthCam1, HeightCam1)
    35. get_image_size (ImageCam2, WidthCam2, HeightCam2)
    36. *
    37. * 初始化两个相机的内参数
    38. gen_cam_par_area_scan_division (0.012, 0, 4.4e-6, 4.4e-6, WidthCam1 / 2, HeightCam1 / 2, WidthCam1, HeightCam1, StartCamParam1)
    39. gen_cam_par_area_scan_division (0.012, 0, 4.4e-6, 4.4e-6, WidthCam2 / 2, HeightCam2 / 2, WidthCam2, HeightCam2, StartCamParam2)
    40. * 创建一个Halcon标定数据模型(即建立标定对象),用于存储相机标定的过程、标定数据以及相机标定或手眼标定的结果
    41. * 'calibration_object'类型用于基于从对象标定的观测中提取的度量信息来校准一个或多个相机的相机内参和相机姿态(相机外参);
    42. * 2 表示两个连个相机
    43. * 1 表示的是一个标定板
    44. * CalibDataID 标定的数据
    45. create_calib_data ('calibration_object', 2, 1, CalibDataID)
    46. * set_calib_data_cam_param( : : CalibDataID, CameraIdx, CameraType, CameraParam : ) 功能:在标定数据模型中设置相机的类型和初始参数。
    47. * 参数1:CalibDataID:标定数据模型句柄;
    48. * 参数2:CameraIdx:摄像机索引,默认值为0
    49. * 参数3:CameraType:摄像机类型,默认值: [];
    50. * 参数4:CameraParam:摄像机初始内参。
    51. set_calib_data_cam_param (CalibDataID, 0, [], StartCamParam1)
    52. set_calib_data_cam_param (CalibDataID, 1, [], StartCamParam2)
    53. *标定文件 这个是相机标定的重要部分
    54. * set_calib_data_calib_object( : : CalibDataID, CalibObjIdx, CalibObjDescr : )功能:在标定模型中定义标定对象(设置标定板描述文件)。
    55. * 参数1:CalibDataID:标定数据模型句柄;
    56. * 参数2:CalibObjIdx:标定板索引,默认值0
    57. * 参数3:CalibObjDescr:标定板三维点坐标或标定板描述文件名
    58. set_calib_data_calib_object (CalibDataID, 0, 'calplate_160mm.cpd')
    59. *
    60. *
    61. for I := 0 to NumCalibImages - 1 by 1
    62. * 分别读取左右两个相机的图片
    63. read_image (ImageCam1, ImagePath + '/calib_cam_1_' + (I + 1)$'02d')
    64. read_image (ImageCam2, ImagePath + '/calib_cam_2_' + (I + 1)$'02d')
    65. *
    66. * 找到标定板 分别开始标定
    67. * find_calib_object(Image : : CalibDataID, CameraIdx, CalibObjIdx, CalibObjPoseIdx, GenParamName, GenParamValue : )功能:找到Halcon标定板,并在标定数据模型中设置提取的点和轮廓。
    68. * 参数1:Image:输入图像;
    69. * 参数1:CalibDataID: 标定数据模型句柄;
    70. * 参数2:CameraIdx: 摄像机索引,默认值为0
    71. * 参数3:CalibObjIdx:标定板索引,默认值0
    72. * 参数4:CalibObjPoseIdx:观察到的标定版的索引;
    73. * 参数5:GenParamName:待设置的通用参数的名称,默认值[];
    74. * 参数6:GenParamValue:待设置的通用参数的值,默认值[]。
    75. *第一个相机(坐标的)
    76. find_calib_object (ImageCam1, CalibDataID, 0, 0, I, [], [])
    77. *get_calib_data_observ_contours( : Contours : CalibDataID, ContourName, CameraIdx, CalibObjIdx, CalibObjPoseIdx : ) 功能:从标定数据模型中提取轮廓。
    78. *图像输出参数:Contours:输出轮廓;
    79. *控制输入参数1:CalibDataID:标定数据模型句柄;
    80. *控制输入参数2:ContourName:待返回的轮廓对象的名称,Default value: 'marks':提取标定板所有标记点的轮廓,'caltab':提取标定板中心6个标记点的轮廓;
    81. *控制输入参数3:CameraIdx:摄像机索引,默认值为0
    82. *控制输入参数4:CalibObjIdx:标定板索引,默认值0
    83. *控制输入参数5:CalibObjPoseIdx:观察到的标定板位姿的索引。
    84. get_calib_data_observ_contours (ContoursCam1, CalibDataID, 'marks', 0, 0, I)
    85. dev_set_window (WindowHandle1)
    86. dev_display (ImageCam1)
    87. dev_display (ContoursCam1)
    88. * get_calib_data_observ_points (CalibDataID, 0, 0, 0, Row, Column, Index, Pose)
    89. dev_disp_text ('Image ' + (I + 1) + '/' + NumCalibImages + ' (Camera 1)', 'window', 'top', 'left', 'black', [], [])
    90. * 第二个相机
    91. find_calib_object (ImageCam2, CalibDataID, 1, 0, I, [], [])
    92. get_calib_data_observ_contours (ContoursCam2, CalibDataID, 'marks', 1, 0, I)
    93. dev_set_window (WindowHandle2)
    94. dev_display (ImageCam2)
    95. dev_display (ContoursCam2)
    96. dev_disp_text ('Image ' + (I + 1) + '/' + NumCalibImages + ' (Camera 2)', 'window', 'top', 'left', 'black', [], [])
    97. disp_continue_message (WindowHandle2, 'black', 'true')
    98. stop ()
    99. endfor
    100. stop ()
    101. *
    102. * calibrate_cameras( : : CalibDataID : Error)功能:标定相机的内参和外参。
    103. * 控制输入参数:CalibDataID:标定数据模型句柄;
    104. * 控制输出参数:Error:均方根误差 (RMSE)
    105. calibrate_cameras (CalibDataID, Errors)
    106. dev_set_window (WindowHandle1)
    107. dev_disp_text ('Calibration successful', 'window', 'top', 'left', 'green', [], [])
    108. dev_set_window (WindowHandle2)
    109. dev_disp_text ('Calibration successful', 'window', 'top', 'left', 'green', [], [])
    110. disp_continue_message (WindowHandle2, 'black', 'true')
    111. stop ()
    112. *
    113. * **********************************************************
    114. * ******************* Step 2: Mosaicking 拼接 马赛克 *******************
    115. * **********************************************************
    116. *
    117. * Display mosaicking explanation text.
    118. dev_close_window ()
    119. dev_close_window ()
    120. dev_open_window (0, 0, 600, 300, 'black', WindowHandle1)
    121. set_display_font (WindowHandle1, 16, 'mono', 'true', 'false')
    122. dev_disp_mosaicking_text ()
    123. stop ()
    124. *
    125. * ========================================获取标定的参数=====================================================
    126. NumObjects := 2
    127. NumObjImages := 2
    128. *
    129. * get_calib_data( : : CalibDataID, ItemType, ItemIdx, DataName : DataValue):查询存储在标定模型中的数据(比如相机的内参和外参)。
    130. * 控制输入参数1:CalibDataID:标定数据模型句柄;
    131. * 控制输入参数2:ItemType:数据类型,'camera':表示要获取数据类型是与摄像机相关数据; 'calib_obj_pose':表示要获取数据类型与标定板位姿相关数据
    132. * 控制输入参数3:ItemIdx:ItemIdx:输入参数,ItemType='camera'时,ItemIdx表示摄像机索引;ItemType='calib_obj_pose'时,
    133. * ItemIdx是一个数组[CalibObjIdx, CalibObjPoseIdx],
    134. * 其中CalibObjIdx表示标定板索引,CalibObjPoseIdx表示参考位姿的图像索引;
    135. * 控制输入参数4:DataName:输入要查询的属性名,'params'表示摄像机内参数; 'pose'表示摄像机外参数;
    136. get_calib_data (CalibDataID, 'camera', 0, 'params', CamParam1)
    137. get_calib_data (CalibDataID, 'camera', 1, 'params', CamParam2)
    138. *
    139. * Get pose with respect to the first camera (reference camera). The
    140. * calibration image which lies in the same plane as the object is
    141. * used as the rectification plane (the world plane the object
    142. * images will be mapped onto). So e.g. if the object lies flat
    143. * on the measurement plane, a calibration plate pose which lies in the
    144. * same flat plane should also be used. Here, we take the first calibration
    145. * image [CalibObjIdx,CalibObjPoseIdx] = [0,0] for the reference pose
    146. *[0,0] --》 获得第一个标定板第一张图形的姿态(这里只有一个标定板)
    147. *我这里是10组图像 只有一个标定板,所以 [0,0] 表示第一个标定板的第一张姿态
    148. get_calib_data (CalibDataID, 'calib_obj_pose', [0,0], 'pose', FirstPose)
    149. PP:=FirstPose
    150. * Since the calibration plate has a certain thickness, the pose of the first camera
    151. * needs to be corrected by the thickness, which is 4mm here.
    152. * set_origin_pose( : : PoseIn, DX, DY, DZ : PoseNewOrigin):计算原始的3D位姿经过向量平移之后新的位姿。
    153. * 控制输入参数1:PoseIn:原始的3D位姿;
    154. * 控制输入参数2:DX:沿着世界坐标的X轴的平移量;
    155. * 控制输入参数3:DY:沿着世界坐标Y轴的平移量;
    156. * 控制输入参数4:DZ:沿着世界坐标Z轴的平移量; 高度 0.004 4mm 表示的标定板的厚度是4mm
    157. * 控制输出参数:PoseNewOrigin:输出新的位姿。
    158. set_origin_pose (FirstPose, 0, 0, 0.004, FirstPose)
    159. *
    160. * Get the pose of the second camera which is given relative to the first camera.
    161. * 获得第二个相机相对于第一个相机姿态RelPose2 ,因为此时第一个相机的姿态是[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0]
    162. get_calib_data (CalibDataID, 'camera', 1, 'pose', RelativePose2BaseFirstCamera)
    163. *relative 相对
    164. * To get the absolute pose of the second camera, its relative pose needs
    165. * to be inverted and combined with the absolute pose of the first camera.
    166. *为了获得第二个相机的绝对姿态,需要将其相对姿态反转并与第一个相机的绝对姿态合并
    167. pose_invert (RelativePose2BaseFirstCamera, RelativePose2BaseFirstCameraInverted)
    168. *第二个相机的相对逆姿态转为绝对姿态 世界坐标
    169. pose_compose (RelativePose2BaseFirstCameraInverted, FirstPose, AbsolutePose2)
    170. *
    171. * Set width, height and scale for the target image so that the full object
    172. * image fits well after the mapping.
    173. get_image_size (ImageCam1, Width, Height)
    174. TargetWidth := 1340
    175. TargetHeight := 800
    176. Scale := 0.0002
    177. *
    178. * The mapped images have some black borders which are cut off for display.
    179. Borders := [125,110,665,1222]
    180. *
    181. * For the mapping of the object images, the camera poses need to be corrected
    182. * again by the thickness of the objects. Here we use two different objects:
    183. * A ruler with a thickness of about 2.5mm and a thin brochure which can be
    184. * approximated with 0mm thickness.
    185. *上面我们设置了标定板的高度是0.004,我们在原来的标定图像的基础上减去了0.004,但是这里由于我们测试的是一把尺子,其高度是
    186. *0.0025,那么我们就要加上这个0.0025,也就说上面0.004是还原到平台,这里在平台上方尺子,所以要加上0.0025
    187. HeightCorrections := [-0.0025,0]
    188. *
    189. dev_close_window ()
    190. dev_open_window (0, 0, 600, 480, 'black', WindowHandle1)
    191. dev_open_window (0, 605, 600, 480, 'black', WindowHandle2)
    192. dev_open_window (535, 0, 740, 360, 'black', WindowHandle3)
    193. set_display_font (WindowHandle1, 16, 'mono', 'true', 'false')
    194. set_display_font (WindowHandle2, 16, 'mono', 'true', 'false')
    195. set_display_font (WindowHandle3, 16, 'mono', 'true', 'false')
    196. *
    197. * Perform mosaicking on the example images.
    198. * Therefore, we create a map which projects the camera images onto
    199. * the rectification plane. Since this map depends on the thickness of
    200. * the object, we generate it once for each object.
    201. for OIdx := 0 to NumObjects - 1 by 1
    202. *获得世界坐标系的姿态,由于Z的方向上我们上升了HeightCorrections,可以设XY,也可以不设XY,这里是设了的
    203. * As mentioned above, the z component of the world poses needs to be corrected by the
    204. * thickness of the object. Also correct the x and y values to move the origin of the
    205. * calibration plate to the bottom right of the images. (Usually, the origin should be
    206. * at (0,0). But since the x- and y-axis of the poses point to the reverse direction here, we
    207. * also move the origin accordingly.)
    208. set_origin_pose (FirstPose, -0.14, -0.07, HeightCorrections[OIdx], WorldPose1)
    209. set_origin_pose (AbsolutePose2, -0.14, -0.07, HeightCorrections[OIdx], WorldPose2)
    210. *
    211. * Generate mappings to map the images to worldplane.
    212. *gen_image_to_world_plane_map( : Map : CameraParam, WorldPose, WidthIn, HeightIn, WidthMapped, HeightMapped, Scale, MapType : )
    213. *—生成一个投影图,该投影图描述图像平面与世界坐标系的平面z = 0之间的映射。
    214. * Map [OUT] 输出的映射图
    215. * CameraParam [IN] 相机内参
    216. * WorldPose [IN] 世界坐标系在摄像机坐标系中的3D位姿
    217. * WidthIn [IN] 要转换的图像的宽
    218. * HeightIn [IN] 要转换的图像的高
    219. * WidthMapped [IN] 映射图的宽
    220. * HeightMapped [IN] 映射图的高
    221. * Scale [IN] 坐标系的单位尺寸
    222. * 1um的像素大小意味着变换后的图像中的像素对应于测量平面中的1um x 1um区域,默认单位是m
    223. * Scale=(像素当量(m))
    224. * MapType[IN] 映射的算法类型
    225. * 计算出连个映射关系
    226. Scale2:=sqrt(4.40189e-06/100)//4.40189e-06mm 是上面标定相机内参得到的像素当量
    227. gen_image_to_world_plane_map (Map1, CamParam1, WorldPose1, WidthCam1, HeightCam1, TargetWidth, TargetHeight, Scale2, 'bilinear')
    228. gen_image_to_world_plane_map (Map2, CamParam2, WorldPose2, WidthCam1, HeightCam1, TargetWidth, TargetHeight, Scale2, 'bilinear')
    229. *
    230. * Map the object images.
    231. for IIdx := 1 to NumObjImages by 1
    232. ObjImageIdx := 2 * OIdx + IIdx
    233. read_image (ImageCam1, ImagePath + '/obj_cam_1_' + ObjImageIdx$'02d')
    234. read_image (ImageCam2, ImagePath + '/obj_cam_2_' + ObjImageIdx$'02d')
    235. *
    236. * Display input images and camera poses.
    237. dev_set_window (WindowHandle1)
    238. dev_display (ImageCam1)
    239. dev_disp_text ('Camera 1 image', 'window', 'top', 'left', 'black', [], [])
    240. disp_3d_coord_system (WindowHandle1, CamParam1, FirstPose, 0.05)
    241. dev_set_window (WindowHandle2)
    242. dev_display (ImageCam2)
    243. dev_disp_text ('Camera 2 image', 'window', 'top', 'left', 'black', [], [])
    244. disp_3d_coord_system (WindowHandle2, CamParam2, AbsolutePose2, 0.05)
    245. *
    246. * Rectify images by mapping them into world coordinates.
    247. *矫正图像通过上面得到的映射关系
    248. * 映射图像
    249. * Image [IN] 原始图
    250. * Map [IN] 映射图
    251. * ImageMapped [OUT] 映射后的图像
    252. map_image (ImageCam1, Map1, ImageWorld1)
    253. map_image (ImageCam2, Map2, ImageWorld2)
    254. *
    255. * Stitching the mapped images together.
    256. get_domain (ImageWorld1, Domain1)
    257. get_domain (ImageWorld2, Domain2)
    258. *求交集
    259. intersection (Domain1, Domain2, RegionIntersection)
    260. *将重叠的部分重新染色为黑色
    261. paint_region (RegionIntersection, ImageWorld1, ImageWorld1Blackended, 0, 'fill')
    262. full_domain (ImageWorld1Blackended, ImagePart1)
    263. full_domain (ImageWorld2, ImagePart2)
    264. *将两张图像叠加到一起
    265. add_image (ImagePart1, ImagePart2, ImageFull, 1, 10)
    266. *
    267. * Rotate image and remove the black borders for display.
    268. rotate_image (ImageFull, ImageRotated, 12, 'constant')
    269. gen_rectangle1 (RectangleDomain, Borders[0], Borders[1], Borders[2], Borders[3])
    270. reduce_domain (ImageRotated, RectangleDomain, ImageReduced)
    271. crop_domain (ImageReduced, ImageReduced)
    272. mirror_image (ImageReduced, ImageReduced, 'row')
    273. mirror_image (ImageReduced, ImageResult, 'column')
    274. *
    275. * Display the result image.
    276. dev_set_window (WindowHandle3)
    277. dev_display (ImageResult)
    278. dev_disp_text ('Result image', 'window', 'top', 'left', 'black', [], [])
    279. if (ObjImageIdx < NumObjects * NumObjImages)
    280. disp_continue_message (WindowHandle3, 'black', 'true')
    281. stop ()
    282. else
    283. dev_disp_text ('End of program', 'window', 'bottom', 'right', 'black', [], [])
    284. endif
    285. endfor
    286. endfor

  • 相关阅读:
    MobileViT
    思科设备EIGRP配置命令
    uniapp地图组件(map)使用问题总结
    Python数据分析与建模库之从入门到四大库(Numpy、Pandas、Matplotl、Seaborn )教学课程下载
    【计算机网络】数据链路层:虚拟局域网
    没有项目管理经验,可以参加PMP考试么?
    前端vue实现讲师新增和修改功能
    【CVPR 2022 多模态融合(有3D检测)】Multimodal Token Fusion for Vision Transformers
    如何使用 pyqt 实现 Groove 音乐播放器
    机器学习之偏差与方差的区别
  • 原文地址:https://blog.csdn.net/weixin_39354845/article/details/139403957