【学习记录】autoware标定相机与激光雷达外参

一、autoware选择

这里踩了好几个坑，首先autoware作为一个无人驾驶知名框架，其内部实际上是有两套标定的东西的，这一点绝大多数博客没有提到。其中最常用的是一个叫标定工具箱的东西，这个ros包已经在1.10往后的版本中被删掉了，所以网上的资料都是基于前人提取出来的代码进行单独编译然后运行，这种标定方法需要用到标定板，个人感觉比较麻烦，用这个标定工具箱，最好是在车上的工控机直接装好相应的程序，录制rosbag有时候提取效果并不好，而且对于标定板的位置和朝向都有许多讲究。

使用这种标定工具箱可以参考：

https://blog.csdn.net/qq_38988221/article/details/129161061
https://blog.csdn.net/mensan1998/article/details/118736810
1
2

除了这个方法，其实使用autoware自带的联合标定工具会更方便，这个标定工具在现在的版本里面都还有，其原理就是选择九对相机和点云中的点，然后计算外参矩阵。

使用联合标定工具可以参考：

https://blog.csdn.net/qq_40216084/article/details/108627919
https://blog.csdn.net/lemonxiaoxiao/article/details/107909149?utm_medium=distribute.wap_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-0-107909149-blog-108627919.237^v3^wap_relevant_t0_download&spm=1001.2101.3001.4242.1
https://blog.csdn.net/HelloJinYe/article/details/106863585?utm_medium=distribute.wap_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-4-106863585-blog-108627919.237^v3^wap_relevant_t0_download&spm=1001.2101.3001.4242.3
1
2
3

二、利用docker可视化界面运行autoware

由于autoware.ai本身已经不再更新了，许多库文件也好源代码也好官方管理的也乱七八糟，所以用docker是目前启动autoware最快捷方便的方法，这里额外记录一下用docker来启动autoware。有关docker的基本使用方法可以参考之前的博客

下载好官方的docker之后，内部是带有ros的，我们可以直接进入docker来启动ros，如果需要新建一个命令行界面，则可以在宿主机重新开一个终端，然后使用下面的指令再进入一次docker。

sudo docker exec -it 你的docker的ID bash
1

在运行autoware的过程中，一定会用到可视化界面，包括rviz以及autoware的可视化配置界面等内容，这种情况下，需要给docker配置可视化的设置才能将docker内部的东西显示在外面，可以参考链接：

https://blog.csdn.net/qq_42731705/article/details/130798908
https://www.cnblogs.com/jiftle/p/13584725.html
1
2

由于标定需要用到提前录制好的rosbag以及内参文件，这里推荐在启动docker时顺便做一下地址映射，这样子就可以很方便地在docker内外传递文件，我启动docker时的指令为：

sudo docker run -it 镜像名称 -v /tmp/.X11-unix:/tmp/.X11-unix -e DISPLAY=$DISPLAY -e 宿主机的文件位置:docker内部的位置
1

之后就可以利用autoware进行标定，标定在启动过程需要指定内参文件和图像的topic，之后就可以进入到下面的界面进行点的选择，个人推荐在合适的位置，按空格暂停rosbag的播放，然后点击图像的点，然后点击点云中的点，没有合适的就按空格继续播放rosbag，重复这套操作直到选择九对点。

这个过程中遇到的一个问题是内参文件的格式，最开始我是用ros自带的标定工具去用棋盘格标定的相机内参，然后直接导出为yaml文件，但是用这个文件使用autoware标定时，选完点之后一直报错，错误信息如下：

查了很多资料也没找出问题所在，后来在一个博客里面发现了别人标定时用的yaml文件，这才发现原来autoware标定时的内参文件和ros标定工具输出的格式是不一样的。

autoware需要的格式为：

%YAML:1.0
---
CameraExtrinsicMat: !!opencv-matrix
   rows: 4
   cols: 4
   dt: d
   data: [ 1., 0., 0., 0., 0., 1., 0., 0., 0., 0., 1., 0., 0., 0., 0.,
       1. ]
CameraMat: !!opencv-matrix
   rows: 3
   cols: 3
   dt: d
   data: [ 6.0930328797947482e+02, 0., 3.1031651266062545e+02, 0.,
       6.0899238994475002e+02, 2.4626671682512318e+02, 0., 0., 1. ]
DistCoeff: !!opencv-matrix
   rows: 5
   cols: 1
   dt: d
   data: [ 8.6431249579251121e-02, -1.4704874856941597e-01,
       -5.5439696020033046e-04, -1.9515514445514945e-03,
       -2.6628324052679192e-01 ]
ImageSize: [640, 480]
Reprojection Error: 0.0
DistModel: plumb_bob
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

ros直接输出的格式为：

image_width: 640
image_height: 480
camera_name: narrow_stereo
camera_matrix:
  rows: 3
  cols: 3
  data: [410.73262,   0.     , 318.33938,
           0.     , 411.97988, 190.16781,
           0.     ,   0.     ,   1.     ]
distortion_model: plumb_bob
distortion_coefficients:
  rows: 1
  cols: 5
  data: [0.009894, 0.015771, -0.011451, -0.007740, 0.000000]
rectification_matrix:
  rows: 3
  cols: 3
  data: [1., 0., 0.,
         0., 1., 0.,
         0., 0., 1.]
projection_matrix:
  rows: 3
  cols: 4
  data: [420.87268,   0.     , 312.09444,   0.     ,
           0.     , 421.67639, 184.16815,   0.     ,
           0.     ,   0.     ,   1.     ,   0.     ]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

我们需要把下面的内容调整到上面的格式中，其实就是将distortion_coefficients和camera_matrix复制到上面，CameraExtrinsicMat保持不动就行，这个部分标定完autoware会把外参信息填在这里。

标定完可以参考博客对标定结果验证，博客里面提到了默认情况下激光雷达的topic名称是写死的，其实我们也可以不用重新在docker内部编译，可以直接在播放rosbag的时候对topic进行重命名，指令为：

rosbag play calibration.bag -l /lidar/point:=/points_raw
1

标定完之后效果如下，完美搞定标定任务！

三、多相机标定

这里最后再补充记录一个标定过程遇到的问题，由于我们的采集设备是一个激光雷达和三个激光雷达，上图为中间相机和激光雷达的外参检验结果，由于基本在一条线上，所以可以看到投影的结果十分准确，但是在标定左右相机的时候，投影的结果明显不一样，左右相机的投影结果如下。


本来以为是标定没操作好，和师兄交流的过程中突然就悟道了，第一张图为左相机的投影结果，由于相机在激光雷达左边，所以部分被遮挡的地方向左投影时就是空的，反过来，右边的相机则是右边出现了空。所以在这种情况下，只要边缘位置准确就可以。