码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 高光谱拼接算法(一)扫推式成像和航带拼接算法


    合集 - 高光谱成像(21)
    1.高光谱成像基础(一)高光谱图像03-022.高光谱成像基础(二)光谱角映射 SAM03-033.高光谱成像基础(三)主成分分析 PCA03-054.高光谱成像基础(四)最小噪声分数变换 MNF03-065.高光谱成像基础(五)高光谱成像的噪声估计03-096.高光谱成像基础(六)滤波匹配 MF03-107.高光谱成像基础(七)线性光谱混合模型 LMM03-128.高光谱成像基础(八)自适应余弦估计器 ACE03-139.高光谱成像基础(九)光谱解混基础03-1610.高光谱成像基础(十)基于 LMM 的端元提取03-1711.高光谱成像基础(十一)异常检测算法 RX 与 KRX03-1812.高光谱成像基础(十二)光谱重建(Spectral Reconstruction)03-1913.高光谱成像基础(完)光谱融合(Spectral Fusion)03-20
    14.高光谱拼接算法(一)扫推式成像和航带拼接算法05-22
    15.高光谱拼接算法(二)Harris 角点探测05-2516.高光谱拼接算法(三)SIFT 特征点检测07-0117.高光谱拼接算法(四)SIFT 特征匹配07-0218.高光谱拼接算法(五)SIFT 的变体与发展07-0319.高光谱拼接算法(六)RANSAC 误匹配剔除07-0420.高光谱拼接算法(七)USAC07-0621.高光谱拼接算法(八)从特征匹配到图像拼接07-14
    收起

    新分类,不再只说纯理论了,我同步维护一个 github 仓库,也方便自己跑跑代码,有兴趣可以关注一下。

    1. 扫推式成像 (Push broom Imaging)#

    在之前的 光谱融合中提到过,现有技术很难一次获取兼顾高光谱分辨率和高空间分辨率的图像。
    概括来说可以理解为相机里的二维传感器难以完整采集三维数据,用来存储光谱信息就要丢失空间信息,反之亦然。

    因此,为了获取兼顾二者的图像,便衍生了多种成像方式,其中,扫推式成像是目前在空间分辨率、光谱分辨率与采集效率之间最均衡、最主流的一种方案。
    其逻辑很简单:

    一次只拍“一条线”,但这条线里的每个像素,都带有完整光谱信息,最后随着设备不断前进,把一条条“光谱线”拼成完整三维数据立方体。

    image.png
    (图片来源)

    此外,在前沿领域,也在研究 快照式成像:一种尝试利用压缩和编码技术,从根本解决高光谱图像获取问题的研究方向。

    2.航带拼接获取高光谱图像#

    上面提到的,扫推式成像需要设备不断移动,早期搭载高光谱设备的是卫星或者科研飞机。但现在最常见的是无人机,因为它大幅降低了高光谱门槛,得益于其成本低,更灵活,这也是多数相关企业的选择。

    此外,还有传送平台,显微扫描平台等很多选择,其关键就是产生相对运行实现“扫推”。

    以无人机为例,只飞一次,扫描得到一条数据,我们就称之为单航带数据。
    这种数据前后一致性好、无需拼接、几何误差小,但覆盖范围有限。

    因此,当目标区域很大,整片农田、整座城市时,我们就会让一台无人机平行来回飞,或者多台无人机并行扫描不同区域。

    现在,每一次扫描结束,都会得到一组单航带数据,我们把多个航带拼起来,就可以获得兼具光谱分辨率和空间分辨率的图像。

    image.png
    (图片来源)

    但这种拼接不是直接让矩阵连接在一起那么简单,这其中涉及大量细节。

    3. 拼接中的对齐问题#

    首先,在获取多航带数据过程中,航带之间通常不会完全贴边,而是会故意保留一定重叠区域,用于后续的配准、校正与拼接。

    而理想情况下,最终得到的高光谱图像应描述的是:

    同一时间、同一观测条件下的一片连续区域。

    但由于扫推式成像依赖平台运动逐线采集,不同航带往往是在不同时间、不同姿态、不同光照条件下获得的,因此在拼接过程中需要解决多个层面的对齐问题。

    3.1 几何对齐(Geometric Alignment)#

    由于飞行高度、平台姿态、速度变化以及 GPS / IMU 误差的存在,不同航带之间可能出现平移、旋转、拉伸、透视形变等几何失配问题。

    image.png
    (图片来源)

    3.2 辐射对齐(Radiometric Alignment)#

    不同航带往往并非在完全一致的观测条件下采集,比如第一条航带在上午 10 点采集,第二条采集完已经 10:20 了。
    这就会导致太阳高度角变化、云层遮挡、大气条件变化、曝光参数变化等等情况,导致同一目标在不同航带中的整体亮度存在差异。

    因此,即使空间位置已经对齐,拼接后仍可能出现明显亮暗接缝。

    image.png
    (图片来源)

    3.3 光谱对齐(Spectral Alignment)#

    相比普通图像,高光谱数据更重要的是每个像素对应的完整光谱曲线。

    但由于传感器响应漂移、观测角变化或跨航带成像条件差异,不同航带中同一目标的光谱曲线可能发生波段偏移、光谱形状变化、反射峰位置漂移等问题。
    这会进一步影响后续的地物分类、光谱匹配等下游任务。

    因此,高光谱拼接不仅要求空间连续,还要求跨航带光谱保持物理一致性。
    image.png
    (图片来源)

    4. 高光谱拼接算法(Hyperspectral Image Stitching/Mosaicking)#

    最终,高光谱拼接的结果直接影响整个高光谱立方体是否可信。
    很多后续高光谱算法, 默认都假设输入数据已经是“空间连续且光谱一致”的。
    而这个前提,正是拼接算法负责建立的,其目标正是:

    为后续分类、检测、反演等下游任务,构建空间连续、辐射统一、光谱一致的高质量高光谱数据立方体。

    我们下载的很多公开数据集,包括 Indian Pines、Pavia University、Salinas 等都已经进行了这些甚至更复杂的处理。

    而由于其任务属性,专门用于拼接算法的公开数据集较少,而且十分碎片化,可以说基本没有统一的 benchmark,但其涉及的领域、相关方法和模型又十分丰富。
    因此,可以说是一个说不上人满为患,但又绝对不算小众的研究方向,其实难点在于数据获取本身以及“拼接没有标准答案”的问题上。

    这个系列应该不会太长,会在之前的 DL 和 HSI 的基础上快速切入一些比较新的模型方法,深度学习进阶那个系列也会继续更。

    作者:哥布林学者

    出处:https://www.cnblogs.com/Goblinscholar/p/20124166

    版权:本作品采用「署名-非商业性使用-相同方式共享 4.0 国际」许可协议进行许可。

    给自己一些时间。

  • 相关阅读:
    Android系统之SurfaceFlinger
    健身戴什么耳机,盘点几款健身佩戴的耳机推荐
    python经典百题之分桃子
    Javasript中的BOM
    MBA-day25 最值问题-应用题
    python使用字符串的格式化方法来设置字符串的固定长度
    【序列化二叉树】
    JavaScript知识系列(4)每天10个小知识点
    美丽的图论
    labelImg
  • 原文地址:https://www.cnblogs.com/Goblinscholar/p/20124166
  • 最新文章
  • 沪漂五周年了:我越来越迷茫了
    Agentic Skill Routing 实战:别再把所有 Skill 塞进 AI Agent 上下文
    MySQL-Seconds_behind_master的精度误差
    [MAF预定义ChatClient中间件-03]CachingChatClient——利用缓存省钱省时间
    AI的至暗历史:从万众期待到被政府撤资,AI的两次死亡徘徊
    Agent OS :五种驯服不确定性的范式
    PortSwigger SQL注入LAB11
    数据库即时编译JIT
    [Begin]AI Learn Data Day 0
    深度学习进阶(二十七)现代 LLM 的核心架构设计其二:SwiGLU
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号