ISP Pipeline典型场景要点SAT、Bokeh、MFNR、HDR

目录

一、概述

二、通用流程

三、典型场景

1. SAT

2. Bokeh背景虚化 + MFNR

3. HDR（DOL、DCG等）

---

一、概述

本文解释isp pipeline的一些非常典型的场景，不同厂商对pipeline的连接及node的port口设计可能不同，但核心的思想相同。纯干货！

二、通用流程

一般走向都是sensor，FE0/1/2/..., BE，PE。CVE在旁路进行特征点提取、匹配、映射，各种H矩阵求取等计算，输出给PE或NPU（Face Detection或Motion Detection）等。

FE输出Ideal Raw图给BE，几帧的Ideal Raw图一般存于ZSL队列。

BE进行RAW2YUV处理，输出FULL size图 + DS4图的YUV图给PE经过分时复用实现多pass降噪。

PE输出的就是最终的预览图，给DPU送显。

FE一般会额外输出一路Y图给CVE，用于计算TNR H Matrix，CVE输出的TNR H matrix会作用于PE的TNR warp模块，TNR降噪。当然，这与SAT关系不大，而是预览正常处理。

ZSL队列用于拍照瞬间获取多帧合成still image。

FE\BE\PE\CVE的概念请自己对应，不同厂商不一样。

三、典型场景

1. SAT

SAT一般在普通拍照预览和录像预览下开启，至少两个sensor。

• Main sensor输出：Main Stream + SAT专用Y图
• Slave sensor输出：SAT专用Y图

master sensor输出几张IdealRaw图存于ZSL队列，这个是主图，经过BE、PE处理后用于预览。master sensor和slave sensor分别连接的FE0和FE1会输出SAT专用小Y图给CVE计算SAT H matrix（或者Match result加两路Y），作用于PE的EIS warp模块，将main图的FOV对齐到slave图。

• 当master为大fov，slave为小fov，上面正常的SAT处理。
• 当master为小fov，slave为大fov，只有当slave切换为master时SAT H matrix才会作用于EIS warp。

对于SAT，只有master sensor的FE会输出用于TNR的Y图给CVE，因为预览图来源于master sensor，slave sensor主要是用于配合计算SAT H matrix。

2. Bokeh背景虚化 + MFNR

至少需要两个Sensor。

对于预览，Main sensor的PE和Sub sensor的PE均会输出YUV小图给CVE，计算Main-sub H Matrix（或者Match result加两路Y），生成depth map小图Y格式。depth map作用于Main sensor的PE输出的预览流，进行Bokeh处理。

对于拍照，前面会多一步。FE0和FE1的Ideal RAW输出都会经过RAW MFNR处理，MFNR需要FE0/1输出的Y小图经过CVE，CVE计算MFNR H matrix，该矩阵用于MFNR计算。MFNR后的Bayer RAW图像经过BE、PE、CVE Bokeh就一样了。

3. HDR（DOL、DCG等）

第一个讲2DOL Stagger HDR。

即以“行”为输出单位“长短帧”曝光，以“帧”为单位因为间隔时间太长会有伪影产生，早已过时。

FE接受来自sensor的2DOL图像（Ev0和Ev-），CVE分时读取Ev0长曝光图像和Ev-短曝光图像，求取特征点（FTPT），根据特征点进行match，输出H矩阵，传给BE的HDR warp。

BE读取长短帧图像，利用H矩阵对Ev-图像配准，然后进行HDR融合。可硬件融合或AI融合。

第二个讲DCG HDR。

对于DCG HDR，Sensor只曝光一次，通过不同的AD转换增益获取Ev0和Ev-，其他步骤没有特别的区别。这种方式Sensor有可能直接对两者图像融合。

不断更新...