• 12、Urban Radiance Fields


    简介

    项目主页:https://urban-radiance-fields.github.io/
    论文地址:https://urban-radiance-fields.github.io/

    利用RGB图像和激光雷达扫描数据(由摄像机和扫描仪在室外场景中移动获得),进行三维重建和新颖的视图合成,适用于城市户外环境中的世界地图绘制(如街景)。

    主要有以下三个方面创新

    • 利用异步捕获激光雷达数据
    • 解决捕获图像之间的曝光变化
    • 利用预测的图像分割来监督指向天空的射线密度

    问题与挑战

    • 相机的位置偏向于行走模式(例如走直线),而没有聚焦在场景的任何特定部分。与其他数据集相比,这导致只有少量摄像机观察到场景的某些部分,而其他数据集使用大量摄像机统一捕捉场景
    • 天空在大多数街景中都是可见的,这就引入了一个无限远的元素,与摄像机附近的固体结构不同
    • 由于相机使用自动曝光,这些图像的曝光量通常变化很大,光照亮度也随着太阳的能见度和位置而变化。结合自动白平衡,这导致相同的结构有不同的颜色时,从不同的相机观察
    • 激光雷达点在场景远处的部分分辨率较低,甚至在场景的某些部分(例如,闪亮或透明的表面)完全不存在

    创新、扩展

    • 除了RGB图像外,纳入了激光雷达信息。通过融合这两种模式,可以弥补在大规模和复杂的场景中视点的稀疏性。同时引入了一系列基于激光雷达的损失,允许对固体结构(如建筑物)和体积结构(如树木/植被)进行精确的表面估计
    • 自动分割天空像素,并定义一个单独的圆顶状结构,为指向天空的相机射线提供一个明确定义的监督信号
    • 通过估计每个相机的仿射颜色变换自动补偿不同的曝光

    实现方法

    优化目标(损失函数)
    在这里插入图片描述
    颜色部分网络结构
    在这里插入图片描述
    总损失函数
    在这里插入图片描述
    场景级神经网络参数θ,每幅图像曝光参数{βi}

    光度损失(Photometric-based Losses)

    光度损失项类似于原始的NeRF方程,但也取决于估计的每幅图像曝光参数{βi}
    在这里插入图片描述
    体渲染方程(volume rendering)由两部分组成
    在这里插入图片描述

    曝光补偿(Exposure compensation)

    通过映射系统获取的图像通常通过自动白平衡和自动曝光来捕获,这使得光度损失(Lrgb)计算变得复杂。之前使用潜在代码解决了这个问题,针对每个图像分别学习,将图像无关的场景亮度映射到图像相关的亮度。这种方法的一个缺点是,用每个图像的潜在代码建模曝光变化是过度参数化的,因为它允许潜在代码补偿非曝光相关的错误。相反,在体渲染方程中,我们对共享网络预测的亮度进行仿射映射,其中仿射变换是一个从每幅图像潜在代码βi∈R^B解码的3x3矩阵:
    在这里插入图片描述

    这种映射通过一个更严格的函数来模拟白平衡和曝光变化,因此当场景亮度参数θ和曝光映射β联合优化时,不太可能引起不必要的纠缠

    天空模型(Sky modeling)

    户外场景包含天空区域,光线不会相交于任何不透明的表面,因此NeRF模型在这些区域得到微弱的监控信号。为了解决这个问题,渲染模型包括一个以基于坐标的神经网络表示的球形亮度(环境)地图,类似于在GANcraft中使用的亮度地图
    在这里插入图片描述
    对每个图像运行一个预先训练的语义分割模型,以检测可能是天空的像素:Si=S(Ii),其中Si®=1,如果射线r通过图像i中的天空像素。然后我们使用天空掩码来定义一个额外的损失,鼓励通过天空像素的射线在所有点样本的密度为零
    在这里插入图片描述
    每当Si®=1,这将使得体渲染方程中Csky解释在总损失函数中射线r的像素

    雷达损失(Lidar losses)

    使用激光雷达数据监督模型的训练,给出了L个激光雷达样本集D={(o ', D ', z ')L ’ =1},每个对应一条射线r(z)=o ’ + zd ',以及相关的3D测量p ’ =r(z ')
    在这里插入图片描述
    损失分成两种不同类型:监督预期深度值,监督从激光雷达传感器到观察位置的视线方向上的自由空间

    监督预期深度值(Expected depth)

    在这里插入图片描述
    在体绘制过程中(光学深度),开始监督期望的深度ˆz,以匹配激光雷达测量的深度

    视线先验(Line-of-sight priors)

    对于由激光雷达传感器观测到的点,一个合理的假设是,一个测量点p对应于一个非透明表面上的位置,大气介质对激光雷达测量的颜色没有贡献。

    因此,我们期望辐射亮度集中在沿射线的一个点上,也就是说,一个点负责观察到的颜色
    在这里插入图片描述
    δ(.)为连续狄拉克函数。我们可以通过惩罚方法将这种约束转换为损失
    在这里插入图片描述
    为了使这个数值易于处理,我们可以用一个积分为1(即一个分布)的核来代替狄拉克
    在这里插入图片描述
    在这里插入图片描述
    第二项为
    在这里插入图片描述
    这鼓励了表示增加了p附近的体积密度,从而允许训练更快地收敛

    K(x)在[z−, z + ]在[z−, z + ]中有界支持,第一项可以简化为
    在这里插入图片描述
    这要求光线原点和激光雷达点p(即视线)之间的部分空间不包含任何3D表面,这种视线信息一直是“体雕”技术的关键组成部分

    最后一项为
    在这里插入图片描述
    这一项的唯一目的是确保w(t)和为1,并且因为NeRF的体积渲染方程只要求w(t)和不超过1,所以在训练过程中可以去掉这一项

    效果图

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • 相关阅读:
    彻底解决天选2掉wifi问题
    MySQL基本操作之记录增删改查
    Qt中QPropertyAnimation动画效果展示
    java.lang.reflect.Field 解读
    DNS抓包
    揭秘Spring Boot内嵌Tomcat原理
    Mybatis苞米豆(baomidou)使用说明书
    以自主技术跃进的综合冲压的顶级制造商
    Vite学习笔记----踩过的坑(不定时更新)
    centos7.9安装jenkins
  • 原文地址:https://blog.csdn.net/weixin_50973728/article/details/126298855