Camera-ISP DP/DM/EE/NR/CR

        Image Process主要过程有DM(Demosic)、DP(Defect Pixel Correction)、CR(Color Reproduction)、EE(Edge Enhancement)、NR(Noise Reduction)处理，主要去研究这些处理的原理以及作用便于工作中更好的接触。

一、ImageProcess-DM(Demosic)

        数位影像中，每个Pixel都有RGB三原色的值，但Sensor得到的影像(Bayer Format)，每个Pixel只有一个颜色(R/G/B)，Demosic的原理即是通过色彩内插(Color Interpolation)的方法，让每个Pixel同时拥有RGB三个颜色

   每个pixel需要得到自己没有的其他俩种颜色数据只能通过相邻的其他俩种颜色数据，然后通过一定的算法进行计算而得，如果Demosic异常，就会出现高频的细线出现。

二、ImageProcess-DP(Defect Pixel Correction) 

        Sensor制造过成中，可能会产生坏点(Bad Pixel/Defect Pixel)，坏点分为暗点和亮点(上电后：暗点一直是暗的，亮点一直是亮的)，对于这种问题，首先是坏点侦测，找到对应的坏点所在的位置(全亮或者全暗场景里面拍照可以找到亮点或者暗点)，然后利用相邻的Pixel进行内插的方式校正补偿。

        坏点侦测：比较相邻的Pixel亮度，若是差异过大及判断为是坏点，这个差异值需要谨慎设置，不能过大或者过小。

三、ImageProcess-CR(Color Reproduction)

        数位感光元件在将电子讯号处理成影像时，在色彩上会和原始影像有些出入，为了增强色彩一般ISP会利用数位信号处理技术来还原甚至加强原始影像的色彩，通常做法是原始的RGB数据乘以一个对应的R、G、B矩阵来增强色彩和饱和度, 会从RGB转换成YUV，yuv会将色彩和亮度分离，可以专注改变与色彩但不影响其亮度。

色域转换：为了方便色彩的处理，将颜色由RGB转换成YCbCr或是H.S.V

色调转换：改变色彩的属性，ex.红->橙->黄

饱和度转换：让色彩变的更鲜艳或者是不鲜艳

RGB Domain Color Processing

优点：颜色调整是整体行的，因此不会出现颜色不连续的现象；且能够快速调整整体色彩接近目标色彩，因此效率较高。

缺点：每个颜色都是由RGB三原色组成的，因此无法单独的只调整成特定的颜色

 

YUV Domain Color Processing

优点：能够精准的调整为单一色彩而不影响其他颜色。

缺点：由于可精准调整单一颜色，因此也可能出现过渡调整导致颜色不连续的现象；调整花费时间也比较长。

HUV Domain Color Processing

H(Hue色调角)S(Saturation饱和度、色彩) V(亮度value)

 

四、Image Process-EE(Edge Enhancement) 

        边缘强化主要是强化影像的Edge和Texture，让影像看起来更锐利。但是在加强Edge的同时，可能会因为过强导致物体轮廓出现白边；加强Texture的同时，也会同步加强Noise的强度。

        Edge Detect主要是将影像从空间域切到频域，根据频率的高低不同分成三个部分，第一个部分是低频部分，认为是Noise部分，不会做改变；第二部分为中频部分，是Texture部分，会进行一些Gain值加强；第三部分为Edge部分，被认为是高频部分，也会加上Edge Gain加强。需要注意的是Noise和Texture之间很难区别，很可能加强Texture的时候加强了Noise.

 

五、Image Process-Noise Reduction 

       数位影像一定会有噪点，是无法完全克服的，噪点最常见的情形是Power Noise和Sensor Noise，Power Noise是画面中随机但频繁出现的横线，因为Power Noise是连续的Pixel，因此无法靠ISP清除，只能靠降PCLK及做好hw走线来改善；Sensor Noise是画面中随机出现的噪点，当Sensor Gain越高，噪点就越严重，这个可以通过De-Noise算法改善。

        通常情况下，降低噪点会伴随着Edge和Texture的损失，一般使用时，Noise和Texture很难完全分开，因此移除Noise容易同时降低Texture。