【camera】【CMOS Sensor】感光芯片cmos sensor简单介绍

CMOS感光芯片简单介绍

1. CMOS感光芯片的模块

典型的CMOS图像传感器可以分为像素阵列、控制寄存器、时序控制逻辑、模拟信号处理、ADC模数转换及DSP几大模块：

• ADC模数转换，将模拟信号转换为Raw Bayer数字图像信号；

• 时序控制模块，控制并输出sensor工作需要的各种时钟信号，包括Vsync(场同步信号)，Hsync(帧同步信号)，pclk(时钟信号)；

• 控制寄存器，通过I2C对sensor做一些设置，如图像输出大小、PLL设置、效果设置等。

• 像素阵列 Active Pixel Sensor Array，每个像素单元主要由微透镜Micro Lens、彩色膜Color Filter、光敏二极管Photo Diode三部分组成，如下图。

• 微透镜Micro Lens用于会聚入射光，增大了入射光角度范围，扩展单一像素的感光面积，使入射光强度得到更大的补偿。

• 彩色膜Color Filter通常是红、蓝、绿三种颜色，选择性的通过红光、蓝光、绿光。

  • 由于Color Filter的原因，大多数sensor输出的原始图像是Bayer pattern的，如下，以2 * 2像素为一个单元，像素之间的排列有4种：RGGB、BGGR、GRBG、GBRG。
    

  • 问题一：为什么使用红、蓝、绿三种颜色？

    • 早期的科学验证，自然界中常见的各种色光都可以用RGB三原色按照不同的比例混合得到。同样，大多数色光也可以分解成红、绿、蓝三种颜色，这就是RGB三原色原理，即$C=aR+bG+cB,a,b,c\ge 0$，其中C为任意颜色，a,b,c为三原色的权值。
    • 采用三原色也符合人眼锥状细胞的生理特征。锥状细胞包含了三种不同种类感色细胞，分别为感受长波长的红色色光锥状细胞，中波长的绿色色光锥状细胞、短波长的蓝色色光锥状细胞。

  • 问题二：为什么Color Filter分布R:G:B=1:2:1？

    • G采取更高的采样率是因为人眼的亮度响应曲线峰值更接近绿色频率范围，通过G通道可得到亮度信息。亮度信息是图像最重要的信息分量，因此两个G更有利亮度信息的传递，减少失真，所以在采样上偏向绿色对图像的画质细节表现有利。

• 光敏二极管Photo Diode用于进行光电转换，光敏二极管不能感知光的色彩，只能感知光的强弱。

  • 当光线照射到光敏二极管的表面后，激发出电子，电子的数目与入射光强度成正比。
  • 例如上图中红色感光像素单元的结构示意图，微透镜对入射光进行会聚，红色膜过滤其它颜色的光，只剩下红光投射到达光敏二极管，光敏二极管将接收到的光信号强度转换为对应大小的电压信号输出，该电压信号的大小指示着该点入射光中红光分量的强弱。

信号采样流程大致如下：

2. CMOS sensor的一些特性

2.1 噪声 Noise

CMOS sensor的主要噪声来源有像素光敏单元的光电二极管，场效应管及图像传感器工作时产生的其它噪声。

• 光电二极管产生的噪声有热噪声、散粒噪声，产生复合噪声及电流噪声。
• MOS场效应管，包括放大其中的场效应管和用于行列选址模拟开关的场效应管，引起的噪声主要有热噪声，诱发栅极噪声及电流噪声。
• 光敏阵列和MOS场效应管构成的CMOS图像传感器在工作中，还会引起其它的噪声，比如复位噪声和空间噪声等。

在信号采样流程中有一个CDS(Correlated Double Sampling)，相关双采样，主要用来降低固定模式噪声FPN。固定图形噪声产生的原因是一束同样的光照射到两个不同的像素上产生的输出信号不完全相同。

双采样是先读出光照产生的电荷积分信号，暂存然后对像素单元进行复位，再读取此像素单元的输出信号。两者相减得到图像信号，这样能有效抑制固定模式噪声。

2.2 暗电流 Dark Current

在没有光照情况下，cmos sensor产生的泄露电流称为暗电流。

2.3 曝光类型 Shutter Type

cmos sensor曝光方式有场曝光Global shutter和行曝光Electronic rolling shutter。

• 行曝光Electronic rolling shutter，行像素交替曝光模式，每一行pixel曝光的开始时间是不一样的，结束时间也是不一样的。捕获快速移动的物体的景像时会引起图像失真、扭曲。
• 场曝光Global shutter，所有pixel曝光开始的时间都是一样的，结束时间也是一样的。需要存储器存放pixel value，成本较高

2.4 OTPM

为消除摄像头间影像效果的差异，保持一致性，需要单独为每个模组进行校正和计算，并将计算好的数据存储在sensor/eeprom中。

摄像头间产生影像效果差异的主要原因有：sensor、Lens、IR-cut、VCM、driver IC、生产组装过程中产生的差异

2.5 动态范围Dynamic Range

动态范围Dynamic Range，在电子学上的解释为接收器所能接收信号极限所涵盖的范围，对cmos sensor而言，是亮部与暗部的细节检测(也可以说是黑与白的极端表现)。

Dynamic Range指sensor对原物色调变化的感应能力，以dB为单位，值越高，对画质越有利。

sensor的动态范围定义公式：$DynamicRange=20lo{g}_{10}(\frac{255}{{\sigma }_{noise}})$，其实是sensor最大蓄积电荷和最小噪声电荷之间的倍数关系。

HDR-High Dynamic Range，高动态范围，普通的HDR方式是使用多张不同曝光时间的图像合成，但是速度较慢。

还有一种HDR是芯片自身输出HDR图像，比较常见的方式有：

• 邻近的像素点之间采用不同的曝光时间；
• 需要先收集每一行像素不同曝光时间下的数据，等曝光完成后再输出数据，这种方法需要额外的数据缓存区来暂存数据。

2.6 曝光时间、帧率

2.7 振荡Auto Flicker

由于光源的亮度是随着交流电周期性变化的，如果曝光时间不是亮度周期的整数倍，摄像头在对着日光灯时图像会出现明暗相间的条纹，这种现象就是flicker。

如何消除Flicker？

交流电频率分为50Hz和60Hz，分别对应的最小亮度周期为10ms、8.33ms，为了保证每一行像素在相同曝光时间内接收到的光能量是周期性的，就要调整曝光时间为其最小亮度周期的整数倍，这样就可以消除Flicker。

如果曝光时间小于最小亮度周期，无法消除Flicker。

2.8 灵敏度Sensitivity

Sensitivity是图像传感器在单位光功率所产生的信号电流，是图像传感器的响应度，即单位曝光量所得到的有效信号电压，它反映了sensor对光照的感应能力。

Sensitivity计算公式：$Sensitivity(1/cd(m^{-2})\cdot sec)=\frac{1}{FSD\cdot B}(\frac{\mu (image1)-\mu (image2)}{T_{int}})$。
$cd(m^{-2})$是亮度的单位，坎德拉每平方米。