• Frustum PointNets for 3D Object Detection from RGB-D Data(2018)


    3D空间的几何和拓扑结构

    直接在3D空间操作可以更自然的参数化以及捕捉 重复、平面、对称等几何结构

    2. Related Work
    3D Object Detection from RGB-D Data
    Front view image based methods(只是介绍了一种表示方法)
    Bird’s eye view based methods(难以检测小物体,难以适应垂直方向有多个物体的场景
    3D based methods(各种方法各有缺点,如计算大、人工设计几何特征,不灵活等)
    Deep Learning on Point Clouds
    点云转化成图片或一定分辨率的立体网格,再把2D卷积泛化到3D卷积
    利用点云稀疏性设计高效的3DCNN架构
    直接处理原始点云(pointnet)
    pointnet已经可以做分类和语义分割,本文把它扩展到3D目标检测
    3. Problem Definition
    输入:点云
    目标:在3D空间中分类并且定位目标
    3D边框的表示:
    size:  h, w, l
    center:
    orientation: ,相对于预定以的规范姿势
    4. 3D Detection with Frustum PointNets
    4.1. Frustum Proposal
    frustum proposal generation:
    ① 给定摄像机投影矩阵,2D边框可以被提升到椎体,这个椎体定义了物体的3D搜索空间。
    ② 收集椎体内所有点形成一个 frustum point cloud
    ③ 旋转椎体,使椎体的中心轴正交于成像平面,可以提高算法的旋转不变性
    基于FPN的模型,先在ImageNet和COCO训练,再在 KITTI 2D object detection dataset 微调
    4.2. 3D Instance Segmentation
    直接回归物体位置的方法由于物体遮挡及背景复杂不容易
    但是物体在空间中是分开的,所以在3D点云中分割是自然且相对容易
    使用 3D mask coordinates 预测3D边框中心
    3D Instance Segmentation PointNet
    ① 输入椎体内的点云,预测每个点属于该物体的分数,一个椎体只含有一个感兴趣的物体
        多类别检测时,类别进行onehot编码,并和中间点云特征concat
    ② 3D Instance Segmentation 后,属于物体的点就可以提取出来(mask)
    ③ 进一步标准化物体点的坐标,提高平移不变性
        XYZ值减中心
    不对点云缩放,坐标变换对结果很重要
    4.3. Amodal 3D Box Estimation
    Learning-based 3D Alignment by T-Net
    (内容不全)
  • 相关阅读:
    【nacos】加载配置文件顺序解析
    Django 中admin页面的css样式无法加载的终极解决方案
    1.3 vue ui框架-element-ui框架
    百分点科技连续四年登榜“中关村高成长企业TOP100”
    适合小团队的任务管理软件有哪些?5款小团队使用最多的项目工具
    BN的作用原理
    IO进线程:消息队列
    vue双向绑定原理
    Stream手动分页
    24 Bayes判别
  • 原文地址:https://blog.csdn.net/weixin_43575791/article/details/106564987