3D Bounding Box Estimation Using Deep Learning and Geometry

论文3D Bounding Box Estimation Using Deep Learning and Geometry解读和自己数据集的检测

通过网络预测角度R和尺寸D，中间点的坐标采用其他的方法来计算。文章基于很多的先验条件来约束2D box和3Dbox之间的关系，其中最为重要的就是2Dbox的四条边每条边上至少有一个3Dbox角点的投影，通过这样的约束作者进一步的添加先验条件，比如物体是垂直的、poll和pitch都为0进一步的约束，最终求解出物体中心点的坐标T。
舍弃回归预测T，那么需要回归预测的只有两个东西，角度R和物体的尺寸D。关于局部朝向θl的预测，论文中提出了一个multi-bin的方法进行预测：将整个局部朝向空间[−π,π]划分成n个重叠的格子，然后通过网络预测出目标的局部朝向属于每一个格子的置信度，同时针对每一个格子预测出一个残差角度用于对所在的格子的局部朝向值进行修正，残差角度用余弦值cos和正弦值sin表示，在网络中通过在最后一层预测得到的2维向量上加上L2-Norm层得到余弦值和正弦值。综上，最终的Multi-Bin loss由两部分组成：
L_θ=L_conf+w×L_loc
其中，L_conf是以分类的任务预测出目标的大致朝向，采用交叉熵loss进行约束，而L_loc则在L_conf的基础上对预测的朝向进行精调。
目标尺寸回归和上述一样
详细的可以参考这个知乎文章，写的太好了链接
修改后的项目上传到csdn，这里不需要积分链接
网络的调试运行
要实现对自己数据集的预测将calib_cam_to_cam.txt 中的
P_rect_02: 7.6771045506683436e+02 0.000000e+00 3.0315526341908003e+02 4.538225e+01 0.000000e+00 7.6771045506683436e+02 2.4620553442166459e+02 -1.130887e-01 0.000000e+00 0.000000e+00 1.000000e+00 3.779761e-03
内参（加粗）改为自己的内参即可
然后将要检测的图像放入到eval1中，运行Run.py即可
注意照片类型，Run.py 129行
效果如下：