常见视频传输接口

一、 视频流程

sensor中的数据流程：

1.光电转换
sensor采集环境光转换为模拟电信号的过程，光信号转为模拟电信号

2.模数转换
也称ADC、AD转换
光电转换也就是模拟电信号转为数字电信号的过程

3.ISP
一般sensor中会内置ISP功能。一般来说，sensor中都会简单的做好一些ISP调优。

不过使用sensor中的ISP可能降低主SOC的消耗，如果考虑开销的话，ISP可以放在sensor或者外接ISP芯片去做

4.image output
ISP处理完生成YUV数据流。而后通过接口传输。
这个接口有很多，如DVP、LVDS、MIPI，常用MIPI
还有传输控制信号的接口，常用I2C

FrameSource 是 ISP 功能的软件抽象。可以设置图像分辨率，格式等，并向后端提供原始图像

Sensor 输出一定分辨率的图像经过 fcrop、scaler 和 crop 三级处理后输出。fcrop 是前级裁剪功能，scaler 是缩放功能，crop 是后级裁剪功能。这些功能在 FrameSource 通道参数中都有对应。

sensor：图像传感器

isp：图像信号处理单元

IPU：图像处理单元。支持对从 ISP 模块采集的图像到视频显示模块前的数据处理

OSD：屏幕菜单式调节方式。OSD 模块主要在视频帧上叠加框线、矩形遮挡、图片等数据

IVS：智能分析通用接口API。以将智能分析算法嵌入到 SDK 中来分析 SDK 中的 frame 图像

CSC：色彩空间转换。把输入的图片格式转化成硬件支持的任意一种格式。如 HSV、NV12、 NV21、RGB32和ARGB 模式中任意一种格式。

Encode：视频编码（H264, H265, JPEG）模块，包含编码通道管理，编码参数设置等功能

经过视频解码得到YUV数据

首先要说明RGB、YUV和YCbCr都是人为规定的彩色模型或颜色空间（有时也叫彩色系统或彩色空间）。它的用途是在某些标准下用通常可接受的方式对彩色加以描述。YUV是音视频（编解码）最常用的格式

【1】RGB
RGB 色彩模式是工业界的一种颜色标准，是通过对红®、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB 即是代表红、绿、蓝三个通道的颜色，是目前运用最广的颜色系统之一。

1）32BPP，只设置低 24 位，高 8 位表示透明度，一般的 LCD 都不支持。
2）24BPP，硬件上为了方便处理，效果跟 32BPP 是一样的。
3）16BPP，常用的是 RGB565；很少的场合会用到 RGB555。
Bpp（位/像素）表示在位图或者视频帧缓冲区中储存1像素的颜色所用的位数，色彩深度越高，可用的颜色就越多。

图片是像素点组成的，而像素点的颜色可以用 RGB 来表示，我们可以用 RGB 来拼出自己的图片。

但在科学研究一般不采用RGB颜色空间，因为它将色调，亮度，饱和度三个量放在一起表示，很难分开。

RGB与YUV区别：
YUV不像RGB那样要求三个独立的视频信号同时传输，所以用YUV方式传送占用极少的频宽。与RGB不一样的是，利用人体眼睛对亮度分量（Y）敏感，而对色度分量（U和V）不敏感的原理，视频可以通过降低色度分量的采样数据，达到降低视频数据量而人眼很难分辨的目的。简单来说，就是RGB格式保存的内容较大，而YUV是一种有效的减少视频传输流量的编码格式。

【2】YUV
在 YUV空间中，每一个颜色有一个亮度信号 Y，和两个色度信号 U 和V。亮度信号是强度的感觉，它和色度信号断开。
YUV使用RGB的信息，但它从全彩色图像中产生一个黑白图像，然后提取出三个主要的颜色变成两个额外的信号来描述颜色。把这三个信号组合回来就可以产生一个全彩色图像。

【3】YCbCr
YCbCr颜色空间主要应用于图像、视频压缩的的数字彩色信号表示，是YUV压缩和偏移的版本，广泛应用于视频编码中。所以，视频编码中常提到的YUV420这些都是基于YCbCr颜色空间的下采样方式。其中Y与YUV中的Y含义一致, Cb , Cr 同样都指色彩, 只是在表示方法上不同而已，Cb表示蓝色分量，Cr表示红色分量。一般人们所讲的YUV大多是指YCbCr。

YUV 采样方式及原理：根据人眼的特点，将人眼相对不敏感的色彩信息进行压缩采样(亮度保持不变)，得到相对小的文件进行播放和传输
（1）YUV4:2:0 数据，每四个 Y 共用一组 UV 分量，在内存中的长度是

h * w + h * w / 4 + h * w / 4 = h * w *1.5
1

是 RGB（h * w * 3） 格式视频数据内存的一半，每个像素的 Y 数据保留， 两个像素数据只保留一个 U 或者 V 数据

（2）YUV4:2:2 数据，每两个 Y 共用一组 UV 分量，在内存中的长度是

 h * w + h * w / 2 + h * w / 2 = h * w *2
1

是 RGB（h * w * 3） 格式视频数据内存 2/3，每两个相邻的像素，一个丢弃 V 数据，一个丢弃 U 数据

（3）YUV4:4:4 数据，每一个 Y 共用一组 UV 分量，在内存中的长度是

h * w + h * w + h * w = h * w *3
1

与 RGB（h * w * 3） 格式视频数据内存一样

YUV 存储格式：
（1）packed(打包格式)：每个像素点的 Y,U,V 是连续交叉存储的(YUVYUV)
（2）planar(平面格式)：先连续存储所有像素点的 Y，紧接着存储所有像素点的 U，随后是所有像素点的V（YYYYUUVV）
（3）semi-planar(半平面格式)：先连续存储所有像素点的 Y，紧接着连续交叉存储所有像素点的U,V（YYYYUV）

YUV & RGB 相互转换：
采集到的视频数据一般是 RGB，为了节省带宽，一般需要经过编码转换（RGB->YUV） 为 NV12 进行传输；应用时一般需要经过解码转换（YUV->RGB） 为 RGB 用于显示或后续算法。所以这两种颜色模型之间经常需要进行转换。

RGB 范围 [0,255]，Y 范围 [16,235] ，UV 范围 [16,239]。如果计算结果超过了取值范围要进行截取。
RGB to YCbCr

Y = 0.257 * R + 0.504 * G + 0.098 * B + 16;
U = -0.148 * R - 0.291 * G + 0.439 * B + 128;
V = 0.439 * R - 0.368 * G - 0.071 * B + 128;
1
2
3

YCbCr to RGB

R = 1.164 * (Y - 16) + 1.596 * (V - 128);
G = 1.164 * (Y - 16) - 0.813 * (V - 128) - 0.391 * (U - 128);
B = 1.164 * (Y - 16) + 2.018 * (U - 128);
1
2
3

1、YUV420（NV12、NV21、I420、YV12）

NV12、NV21 的存储格式为 Y 平面，UV 打包一个平面，共两个平面。也就是先连续存储 Y，然后连续交叉存储 UV。不同点在于 UV 的排列顺序。
NV12：先是 w * h 长度的 Y，后面跟 w * h * 0.5 长度的 UV（交叉存储），总长度为 w * h * 1.5
NV21：先是 w * h 长度的 Y，后面跟 w * h * 0.5 长度的 VU（交叉存储），总长度为 w * h * 1.5

NV12: YYYYYYYY UVUV     =>  YUV420SP  # iOS 平台常用 NV12
NV21: YYYYYYYY VUVU     =>  YUV420SP  # Android 平台常用 NV21
1
2

I420、YV12 三个分量均为平面格式，共三个平面，页就是先连续存储 Y，然后连续存储 U，最后连续存储 V。不同点在于 U V 的排列顺序，P 为 Planar 的缩写
I420：先是 w * h 长度的 Y，后面跟 w * h * 0.25 长度的 U， 最后是 w * h * 0.25 长度的 V，总长度为 w * h * 1.5
YV12：先是 w * h 长度的 Y，后面跟 w * h * 0.25 长度的 V， 最后是 w * h * 0.25 长度的 U，总长度为 w * h * 1.5

I420: YYYYYYYY UU VV    =>  YUV420P  # Android 平台常用 I420
YV12: YYYYYYYY VV UU    =>  YUV420P 
1
2

假设一个分辨率为 6X4 的 YUV 图像（占用内存大小 6 ∗ 4 ∗ 1.5 = 36），它们的格式如下图：

2、YUV422（NV16、NV61、I422、YV16、YUVY、VYUY、UYVY）

NV16、NV61 的存储格式为 Y 平面，UV 打包一个平面，共两个平面。页就是先连续存储 Y，然后连续交叉存储 UV。不同点在于 UV 的排列顺序，SP 为 Semi-Planar 的缩写
NV16：先是 w * h 长度的 Y，后面跟 w * h 长度的 UV（交叉存储），总长度为 w * h * 2
NV61：先是 w * h 长度的 Y，后面跟 w * h 长度的 VU（交叉存储），总长度为 w * h * 2

NV16: YYYYYYYY UVUVUVUV     =>  YUV422SP   
NV61: YYYYYYYY VUVUVUVU     =>  YUV422SP 
1
2

I422、YV16 三个分量均为平面格式，共三个平面。也就是先连续存储 Y，然后连续存储 U，最后连续存储 V。不同点在于 U V 的排列顺序，P 为 Planar 的缩写
I420：先是 w * h 长度的 Y，后面跟 w * h * 0.5 长度的 U， 最后是 w * h * 0.5 长度的 V，总长度为 w * h * 2
YV12：先是 w * h 长度的 Y，后面跟 w * h * 0.5 长度的 V， 最后是 w * h * 0.5 长度的 U，总长度为 w * h * 2

I422: YYYYYYYY UUUU VVVV    =>  YUV422P
YV16: YYYYYYYY VVVV UUUU    =>  YUV422P  
1
2

YUVY、VYUY、UYVY 为打包格式：每个像素点的 Y,U,V 是连续交叉存储
YUVY：在 Packed 内部，YUV 的排列顺序是 YUVY，两个 Y 共用一组 UV
VYUY：在 Packed 内部，YUV 的排列顺序是 VYUY，两个 Y 共用一组 UV
UYVY：在 Packed 内部，YUV 的排列顺序是 UYVY，两个 Y 共用一组 UV

YUVY: YUVY YUVY YUVY YUVY  =>  YUV422
VYUY: VYUY VYUY VYUY VYUY  =>  YUV422 
UYVY: UYVY UYVY UYVY UYVY  =>  YUV422 
1
2
3

3、YUV444（I444、YV24）

I444、YV24三个分量均为平面格式。也就是先连续存储 Y，然后连续存储 U，最后连续存储 V。不同点在于 U V 的排列顺序，P 为 Planar 的缩写
I444：先是 w * h 长度的 Y，后面跟 w * h 长度的 U， 最后是 w * h 长度的 V，总长度为 w * h * 3
YV24：先是 w * h 长度的 Y，后面跟 w * h 长度的 V， 最后是 w * h 长度的 U，总长度为 w * h * 3

I444: YYYYYYYY UUUUUUUU VVVVVVVV    =>  YUV420P 
YV24: YYYYYYYY VVVVVVVV UUUUUUUU    =>  YUV420P 
1
2

常用视频分辨率及码率、帧率介绍
（1）常用视频分辨率(wh)：
720P（1280720）： 表示视频有 720 行像素（height），大约 100w 像素，P本身表示的是逐行扫描
1080P（19201080）：表示视频有 1080 行像素（height），大约 200w 像素
2K（25601440/20481080）：表示视频有 2048(22^10=2K) 列的像素数（width），大约 200w 像素，最常见的是影院级别的 2K。
4K（38402160/40962160）：表示视频有 4096(4*2^10=4K) 列的像素数（width），大约 800～900 w 像素

（2）码流（Data Rate）：
也叫码率，指的是视频文件在单位时间内使用的数据流量，对视频编码画面质量的控制起到重要作用。在同样分辨率下，视频文件码流越大，压缩比就越小，画面质量就越好。一般我们用的单位是Kb/s或者Mb/s

（3）帧率（fps）:
指的是每秒钟传输图片的帧数，帧率越高，性能越好

二、 视频接口

模拟信号和数字信号的区别：
1、时间连续性不同：模拟信号时间上是连续的；数字信号时间上不是连续的。
2、幅度变化不同：模拟信号幅度的取值是连续的（幅值可由无限个数值表示）。数字信号幅度的取值是离散的（幅值表示被限制在有限个数值之内）。
3、信号传输方式不同：模拟信号是用模拟量的电压或电流来表示；数字信号是通过0和1的数字串所构成的数字流来传输的。
4、保密性不同：模拟信号的微波通信和有线明线通信，很容易被窃听。数字信号保密性较强，先进行加密处理，再进行传输，最后在接收端解密。

1. MIPI接口

一．MIPI介绍

MIPI：Mobile Industry Processor Interface（移动工业处理器接口）

MIPI是由 ARM 和一系列手机公司成立的联盟，目的是为了将手机内部的接口如摄像头、显示屏接口、射频/基带接口等标准化，从而减少手机设计的复杂程度和增加设计灵活性，增加兼容性。统一接口标准的好处是手机厂商根据需要可以从市面上灵活选择不同的芯片和模组，更改设计和功能时更加快捷方便。

传感器与单片机之间的接口标准有很多，如UART协议、I2C等，同时也出现了各种与摄像头传感器和显示器相关的并行接口，多种不同的接口标准导致了设计时的混乱。并且采用并行接口，通常摄像头传感器要涉及10路以上信号，而显示器则涉及到多达20路，这么多的信号可能导致传输拥塞。

MIPI并不是一个单一的接口或协议，而是包含了一套协议和标准，以满足各种子系统（图像子系统、存储子系统、无线子系统、电源管理子系统等）独特的要求。传统接口一般都与多个物理层相关，MIPI接口只在需要时连接到D-PHY或者M-PHY这两个物理层之上。主流手机模组现在都是用MIPI传输。

MIPI特点：标准化协议接口，差分串口传输，相较于并口具有速度快，功耗低，抗干扰好的优点。

MIPI中，比较成熟的接口有DSI（显示器接口）和CSI（摄像头接口）。
（1）MIPI-CSI2是手机主控和外部摄像机(Camera)连接的方式
（2）MIPI-DSI2是手机主控和LCD屏幕连接的方式

如下是CSI-2和DSI的实现方案：

CSI-2和DSI共享一个名为D-PHY的通用物理接口，这样设计是为了提高效率、降低功耗。目前已经开始向名为 M-PHY的下一代物理层过渡。M-PHY使用更少的引脚，但是能提供更多的选择和更快的信号传输。

PPY(phy protocol interface)：PHY协议接口

二．MIPI规范

DSI接口(双向通信)图如下：

CSI结构(单向通信)图如下：

以DSI为例，其协议层结构如下：

1、名词解释
• DCS (Display Command Set)：DCS是一个标准化的命令集，用于命令模式的显示模组。
• DSI：定义了一个位于处理器和显示模组之间的高速串行接口。
• D-PHY：提供DSI和CSI的物理层定义。D-PHY采用1对源同步的差分时钟通道(lane)和1～4对差分数据通道来进行数据传输。可根据处理器和外设的需求来调节数据率。

2、DSI分层结构
DSI分四层，对应D-PHY、DSI、DCS规范、分层结构图如下：
• PHY 物理层规范了传输介质、电气特性、IO电路、和同步机制。
• Lane Management层：发送和收集数据流到每条lane。
• Low Level Protocol层：定义了如何组帧和解析以及错误检测等。
• Application层：描述高层编码和解析数据流。

3、Command和Video模式
• DSI兼容的外设支持Command或Video操作模式，用哪个模式由外设的构架决定
• Command模式是指采用发送命令和数据到具有显示缓存的控制器。主机通过命令间接的控制外设。Command模式采用双向接口。
• Video模式是指从主机传输到外设采用实时像素流。这种模式只能以高速传输。为减少复杂性和节约成本，只采用Video模式的系统可能只有一个单向数据路径。

三．D-PHY

D-PHY 描述了一同步、高速、低功耗、低代价的PHY。
一个 PHY 配置包括
• 一个时钟lane
• 一个或多个数据lane(最多4个)

D-PHY配置如下图:

D-PHY是一种高速、低功耗的源同步物理层，由于采用了高功效设计，因此非常适合功耗大的电池供电设备使用。它里面同时包含了有助于实现高功效的高速模块和低功耗模块。

D-PHY 的物理层支持HS(High Speed)和LP(Low Power)两种工作模式。HS模式下采用低压差分信号，功耗较大，但是可以传输很高的数据速率（数据速率为80M～1Gbps）； LP模式下采用单端信号，数据速率很低（<10Mbps），但是相应的功耗也很低。两种模式的结合保证了MIPI总线在需要传输大量数据时可以高速传输，而在不需要大数据量传输时又能够减少功耗。

一个通用的Lane中包含LP-TX、LP-RX、HS-TX、HS-RX和LP-CD模块（低功耗竞争检测器），所有收发模块均共用同一个差分线Dp，Dn（在LP模式下，为两根单独的信号线）。

在需要双向通信的系统中，如DSI一般只需要一个Data Lane具有双向收发的能力，其他的Data Lane和Clock Lane则可以根据实际需求，去除RX或者TX模块。

Data Lane个数与传输速度的关系：

Data Lane越多，其能传输的速度越高，也就是能传输更高分辨率的图片。如果要提高图像的分辨率，在使用同样多data lane的情况下，就要降低帧率了。

2.DVP接口

一、DVP介绍

DVP（Digital Video Port）是并口，需要PCLK、VSYNC、HSYNC、D[0：11]。可以是8/10/12bit数据，具体情况要看ISP是否支持。

DVP是传统的sensor输出接口，采用并行输出方式。PCLK最大速率为96MHz。

MIPI接口比DVP的接口信号线少，由于是低压差分信号，产生的干扰小，抗干扰能力也强。最重要的是DVP接口在信号完整性方面受限制，速率也受限制。并口的sensor属于比较低端老旧的，新型高像素的都是MIPI/LVDS等差分信号的。500W还可以勉强用DVP，800W及以上都采用MIPI接口。

二、DVP接口

PCLK：pixel clock ,像素时钟，每个时钟对应一个像素数据；一个PCLK信号结束表示一个像素点的数据已经输出完毕。

HSYNC：horizonal synchronization，行同步信号。一个HSYNC信号结束表示一行的数据已经输出完毕。

VSYNC：vertical synchronization，帧同步信号；一个VYSNC信号结束表示一帧（即一个画面）的数据已经输出完毕。

DATA：像素数据，视频数据，具体位宽要看ISP是否支持（可以是8/10/12bit数据位数大小）；此数据脚可以输出的格式有YUV、RGB、JPEG等

XCLK：也叫MCLK，ISP芯片输出给驱动sensor的时钟；

SCL，SDA：IIC用来读写sensor的寄存器，配置sensor。IIC是camera和ISP通信的总线通道。

三、DVP时序

ISP与sensor通过DVP接口连接，ISP首先会给sensor一个XCLK，sensor内部的PLL会进行计算，产生PCLK(MCLK分频得到)，PCLK由幅面（F_W、F_H）、帧率（FPS 每秒钟传输图片的帧数）决定，并存在如下关系：

PCLK = F_W * F_H * FPS
1

以 F_W = 3556，F_H = 1125，A_W = 1920， A_H = 1080，FPS = 25为例，说明几个对应关系：

时序图：

PCLK是一个像素传输的时间，所以HSYNC 时间是PCLK 的3556倍；
VSYNC是帧同步信号，所以 VSYNC 时间是 PCLK 的 3556*1125 倍；

在这3556个像素中，只有1920个像素是有效的（A_W大小），在剩下的1646个像素点时间内sensor是不传输数据的；因此只有在1920*1080个有效像素时间内，sensor在传输数据

例如：分辨率为320×240的屏，每一行需要输入320个脉冲来依次移位、锁存这一行的数据，然后来个HSYNC 脉冲换一行；这样依次输入240行之后换行同时来个VSYNC脉冲把行计数器清零，又重新从第一行开始刷新显示。

3.LVDS接口

一、接口介绍

LVDS(Low Voltage Differential Signal)是一种低压差分信号技术接口。他是美国NS公司为了克服以TTL电平方式功耗大，电磁干扰大等缺点而研制的一种数字视频信号传输方式。

在液晶显示器电路输出的数字视频信号中，除了包括图像信号之外，还包括行同步、场同步、像素时钟等信号，其中，像素时钟信号的最高频率可超过28MHz。采用 TTL 接口，数据传输速率不高，传输距离较短，且抗电磁干扰能力也比较差，会对RGB数据造成一定的影响；另外，TTL多路数据信号采用排线的方式传送，整个排线数量达几十路，不但连接不便，而且不适合超薄化的趋势。

LVDS输出接口利用非常低的电压摆浮（约350mV）在两条PCB走线或一对平衡电缆上通过差分进行数据的传输，即低压差分信号输出。采用LVDS输出接口，可以使得信号在差分PCB线或平衡电缆上以几百Mbit/s的速率传输，由于采用低压和低电流驱动方式，因此，实现了低噪声和低功耗。克服了TTL传输方式的功耗大，电磁干扰大等缺点。

差分传输是一种信号传输的技术，区别于传统的一根信号线一根地线的做法，差分传输在这两根线上都传输信号，这两个信号的振幅相同，相位相反。在这两根线上的传输的信号就是差分信号。

二、接口电路

下图为LVDS接口电路的组成示意图：

LVDS接口电路包括两部分：
1.驱动板侧的LVDS输出驱动电路（LVDS发送器）
2.液晶面板侧的LVDS输入接口电路（LVDS接收器）

LVDS发送器将驱动板主控芯片输出的TTL电平并行RGB数据信号和控制信号转换为低压串行LVDS信号，然后通过驱动板与液晶板之间的柔性电缆（排线）将信号传送到液晶面板侧的LVDS接收器，LVDS接收器再将串行信号转换为TTL电平的并行信号，送往液晶屏时序控制与行列驱动电路。

在数据传输过程中，还必须有时钟信号的参与，LVDS接口无论传输数据还是传输时钟都采用差分信号对的形式进行传输，所谓信号对，只是LVDS接口电路中，每一个数据传输通道或时钟传输通道的输出都为两个信号（正输出端和负输出端）。

三、接口类型

LVDS输出接口分为以下四个类型：
1、单路6位LVDS输出接口
2、双路6位LVDS输出接口
3、单路8位LVDS输出接口
4、双路8位LVDS输出接口

1.单路6位LVDS输出接口
这种接口电路中，采用单路方式传输，每个基色（即RGB三色中的其中任意一种颜色）信号采用6位数据（XOUT0+、XOUT0-、XOUT1+、XOUT1-、XOUT2+、XOUT2-），一共18位RGB（6bit * 3(RGB)数据，因此也称18位或者18bit LVDS接口。

2.双路6位LVDS输出接口
这种接口电路中，采用双路方式传输，每个基色信号采用6位数据，其中奇路数据为18位，偶路数据为18位，共36位数据，因此，也称36位或36bit LVDS接口

从图中可以看出，双路6bit LVDS发送芯片数据输出格式与单路6bit LVDS发送芯片数据输出格式是相同的，只不过一路传送奇数像素RGB数据，另一路传送偶数像素RGB数据。“O”代表奇数像素，“E”代表偶数像素。

3.单路8位LVDS输出接口
这种接口电路，采用单路方式传输，每个基色信号采用8位数据（XOUT0+，XOUT0-，XOUT1+，XOUT1-，XOUT2+，XOUT2-，XOUT3+，XOUT3-）共24位RGB数据（8bit*3），因此，也称24位或24bit LVDS接口。

4.双路8位LVDS输出接口
这种接口电路中，采用双路方式传输，每个基色信号采用8位数据，其中奇路数据为24位，偶路数据为24位，共48位RGB数据，因此，也称作48位或48bit LVDS接口

四、典型LVDS发送芯片

1.四通道LVDS发送芯片
四通道LVDS发送芯片包含三个数据信号（其中包括RGB,数据使能DE，行同步信号HS，场同步信号VS）通道和一个时钟信号发送通道。4通道LVDS发送芯片主要用于驱动6bit液晶面板。使用4通道LVDS发送芯片可以构成单路6bit LVDS接口电路和奇/偶双路6bit LVDS接口电路。

2.五通道LVDS发送芯片
五通道LVDS发送芯片包含了四个数据信号通道和一个时钟信号发送通道。五通道LVDS发送芯片主要用于驱动8bit液晶面板，使用五通道LVDS发送芯片主要用来构成单路8bit LVDS接口电路和奇/偶双路8bit LVDS 接口电路。

3.十通道LVDS发送芯片
十通道LVDS发送芯片包含八个数据信号通道和两个时钟信号发送通道。十通道LVDS发送芯片主要用于驱动8bit液晶面板。使用十通道LVDS发送芯片主要用来构成奇/偶双路8bit LVDS接口电路。

五、LVDS发送芯片的输入输出信号

1.LVDS发送芯片的输入信号
LVDS发送芯片的输入信号来自主控芯片，输入信号包括RGB数据信号，时钟信号和控制信号三大类。

1）数据输入信号
在供6bit液晶面板使用的四通道LVDS发送芯片中，共有十八个RGB信号输入引脚，分别是
（1）R0～R5红基色数据（R0为最低有效位，R5为最高有效位）六个
（2）G0～G5绿基色数据六个
（3）B0～B5蓝基色数据六个
（4）一个显示数据使能信号DE（数据有效信号）输入引
（5）一个行同步信号HS输入引脚
（6）一个场同步信号VS输入引脚
也就是说，在四通道LYDS发送芯片中，共有二十一个数据信号输入引脚。

在供8bit液晶面板使用的五通道LVDS发送芯片中，共有二十四个RGB信号输入引脚，分别是
（1）红基色数据R0～W（R0为最低有效位，R7为最高有效位）八个
（2）绿基色数据G0～G7八个
（3）蓝基色数据B0～B7八个
（4）一个有效显示数据使能信号DE（数据有效信号）输入引脚
（5）一个行同步信号HS输入引脚
（6）一个场同步信号VS输入引脚
（7）一个各用输入引脚。
也就是说，在五通道LVDS发送芯片中，共有二十八个数据信号输入引脚。

注意：液晶面板的输入信号中都必须要有DE信号，但有的面板只是用单一的DE信号而不使用行场同步信号。因此，应用于不同的液晶面板时，有的LVDS发送芯片可能只需要输入DE信号，而有的需要同时输入DE和行场同步信号。

2）输入时钟信号：即像素时钟信号，也叫数据移位时钟（在LVDS发送芯片中，将输入并行RGB数据转换成串行数据时需要使用移位寄存器），像素时钟信号是传输数据和对数据信号进行读取的基准。

3）待机控制信号（POWER DOWN）：当此信号有效时（一般为低电平），将关闭LVDS发送芯片中时钟PLL锁相环电路的供电。

2.LVDS发送芯片的输出信号
LVDS发送芯片的输出是低摆浮差分对信号，一般包含一个通道的时钟信号和几个通道的串行数据信号。由于LVDS发送芯片是以差分信号的形式进行输出，因此，输出信号为两条线，一条线输出正信号，另一条线输出负信号。

（1）时钟信号的输出：
LVDS发送芯片输出的时钟信号频率与输入时钟信号（像素时钟信号）频率相同。时钟信号的输出通常表示为：TXCLK+ 和 TXCLK-，时钟信号占用LVDS发送芯片的一个通道。

（2）LVDS串行数据信号输出：
对于四通道LVDS发送芯片，串行数据占用三个通道，其数据输出信号常表示为：XOUT0+、XOUT0-、XOUT1+、XOUT1-、XOUT2+、XOUT2-。

对于五通道LVDS发送芯片，串行数据占用四个通道，其数据输出信号常表示为：XOUT0+，XOUT0-，XOUT1+，XOUT1-，XOUT2+，XOUT2-，XOUT3+，XOUT3-

事实上不同厂家生产的LVDS发送芯片，其输出数据格式可能是不同的，因此液晶显示器驱动板上的LVDS发送芯片的输出数据格式必须要和液晶板LVDS接收芯片要求的数据格式相同，否则驱动板与液晶板不匹配。

3.LVDS数据输出格式

LVDS发送芯片在一个时钟脉冲周期内，每个数据通道都输出7bit的串行数据信号，而不是常见的8bit数据。如下图：

在LCD液晶屏中，需要输出到显示屏的信号是并行的图像信号和控制信号，而LVDS信号是串行传输的，所以在发送端需要将并行数据转换为串行数据。以8bit RGB显示屏接口为例，每个显示周期需要传输8bit的R信号，8bit的G 信号，8bit 的B信号，及VS，HS，DE信号，总共为27Bit。而每对LVDS信号线在一个TX周期里只能传输7BIT数据，所以需要4对数据线，外加一对时钟线。LVDS并串转换如下图所示：

上图中的每一组对线称为一个Pair，4组数据线加一对时钟线称为一个Channel，LVDS发送器总是将一个像素数据映射到一个Channel的一个发送周期中。

如果是6BIT 显示屏，则并行数据有21位（18位RGB加3位控制信号），因此LVDS 接口每个Channel只需要 3对数据线和一对时钟线。

如果是10BIT 显示屏，则并行数据有33位（30位RGB 加3位控制信号），因此LVDS 接口每个Channel需要 5对数据线和一对时钟线。

通常，LVDS接口的时钟为20MH~85MHz，因此对于输出像素时钟：
1）< 85MHz的信号，只需一个Channel就可以；
2）> 85MHZ的信号，比如1080P/60HZ的输出，像素显示时钟为148.5MHz，就不能直接用一个Channel传输，而是将输出的像素按顺序分为奇像素和偶像素，将所有的奇像素用一组LVDS 传输，所有的偶像素用另外一组LVDS 传输。也就是说，需要两个Channel来传输1080P/60HZ 的信号。
3）对于像素显示时钟更高的信号，比如1080P/120HZ显示，则需要4个Channel来传输。

两Channel像素分配如下图：

四Channel像素分配如下图：

对于液晶屏 MIPI和LVDS主要区别为两点：
1、LVDS接口只用于传输视频数据，MIPI DSI不仅能够传输视频数据，还能传输控制指令；
2、LVDS接口主要是将RGB TTL信号按照某种格式转换成LVDS信号进行传输，MIPI DSI接口则按照特定的握手顺序和指令规则传输屏幕控制所需的视频数据和控制数据。

LVDS的sensor存在，但是不是非常常用，一般MIPI接口的sensor会用的比较多

六、LVDS在汽车电子领域的应用

随着汽车内部整合的安全和辅助电子设备的增加，汽车领域对高速互连的需求急剧增长，主要集中在用于驾驶支持(电子后视镜、导航系统、泊车距离控制、超视距显示、仰视显示)的视频显示系统，车载娱乐系统(电视和DVD播放器)等，这些应用要求高速数据传输，以满足图像传递的要求。正是这些需求的增长，带动LVDS产品在这些领域崭露头角。其中，就包括LVDS汽车电缆。

instrument cluster：仪表盘
Navigation：导航
heads-up display：汽车HUD抬头显示系统 汽车HUD介绍
Head unit：车载主机
Right/Left mirror：左右后视镜
Parking：泊车

LVDS非常适合汽车应用。汽车内部存在众多的电磁辐射源，因此，抗干扰能力是汽车电子设计最基本的要求。另外，考虑到LVDS传输线自身的低辐射优势，对系统的其它设施几乎不产生额外干扰。LVDS传输只需要简单的电阻连接，简化了电路布局，线路连接也非常简单(采用双绞铜质电缆)。

LVDS多媒体接口在汽车电子领域的应用前景

4.BT656接口

凡是做模拟信号采集的，很少不涉及BT656标准的，因为常见的模拟视频信号采集芯片都支持输出BT656的数字信号。

1.帧（Frame）
一个视频序列是由N个帧组成的，采集图像的时候一般有2种扫描方式，一种是逐行扫描，一种是隔行扫描。对于隔行扫描，每一帧一般有2个场（field），一个叫顶场（top field），一个叫底场（bottom field）。假设一帧图像是720行，那么，顶场就包含其中所有的偶数行，而底场则包含其中所有的奇数行。

2.场（field）
注意，上面提到顶场和底场，用的是“包含”二字，而不是说完全由后者组成，因为在BT.656标准中，一个场是由三个部分组成的：

场 = 垂直消隐顶场（First Vertical Blanking） + 有效数据行（Active Video） + 垂直消隐底场（Second Vertical Blanking）
1

对于顶场，有效数据行就是一帧图像的所有偶数行，而底场，有效数据行就是一帧图像的所有奇数行。顶场和底场的空白行的个数也有所不同，那么，对于一个标准的 8bit BT656（4:2:2）SDTV（标清）的视频而言，对于一帧图像，其格式定义如下：

由上图可以知道，对于PAL制式，每一帧有625行，其中，顶场有效数据288行，底场有效数据也是288行，其余行即为垂直消隐信号。为什么是288行？因为PAL制式的分辨率为 720*576，即一帧有576行，故一场为288行。

由上图我们还可以知道，顶场有效数据的起始行为第23行，底场有效数据的起始行为第335行。
另外，上图中的 F 标记奇偶场，V标记是否为垂直消隐信号。

3.每一行的组成（Lines）
下面说明每一行的组成，一行是由4个部分组成：

  行 = 结束码（EAV） + 水平消隐（Horizontal Vertical Blanking） + 起始码（SAV） + 有效数据（Active Video）
1

典型的一行数据组成如下图所示：

起始码（SAV）和结束码（EAV），它是标志着一行的开始结束的重要标记。
为什么一行中的有效数据是 1440 字节？ 因为PAL制式的SDTV或者D1的分辨率为 720*576，即一行有720个有效点，由于采集的是彩色图像，那么一行就是由亮度信息（Y）和色差信息（CbCr）组成的，由于是 YCbCr422格式，故一行中有720列Y，720列CbCr，这样，一行的有效字节数就自然为 720 x 2 = 1440 字节了。

4.EAV和SAV
EAV和SAV都是4个字节（Bytes）。SAV后面跟着的就是有效的视频数据了。
EAV和SAV的4个字节的格式规定如下（下面以16进制表示）：

FF 00 00 XY
1

其中，前三个字节为固定的，必须是FF 00 00，而第4个字节（XY）是根据场、消隐信息而定的，其8个bit含义如下： 1 F V H P3 P2 P1 P0

其中，F：标记场信息，传输顶场时为0，传输底场时为1
V：标记消隐信息，传输消隐数据时为1，传输有效视频数据时为0
H：标记EAV还是SAV，SAV为0，EAV为1

而 P0~P3为保护比特，其值取决于F、H、V，起到校验的作用，计算方法如下：

BT656视频标准接口PAL制式（720*576）每场由四部分组成：
● 有效视频数据，分为奇场和偶场，均由288行组成。每行有1440个字节，其中720个字节为Y分量，360个字节为Cb分量，360个字节为Cr分量。Y分量的取值为16_{235；Cb和Cr分量的取值为16}240。
● 水平消隐，有280个字节。
● 垂直消隐。
● 控制字(EAV SAV)。

Blanking为水平消隐区，通常由80H/10H来填充

为什么需要消隐？
是因为液晶屏显示图像是一行一行显示，以PLA制式来说，其显示方式是隔行扫描，即先显示1、3、5……的奇数行，每行的显示都是从左到右，如此从第一行右端回到第三行左端时，就需要屏幕在此期间不做显示，就需要用到行消隐；在完成奇数行后，需要从屏幕右下角回到左上角从第二行左端开始扫描，所以需要垂直消隐。

Valid data（有效数据）区，Y : Cb : Cr=“4”:2:2

BT656定义了一个并行的硬件接口用来传送一路4:2:2的YCbCr的数字视频流。视频流的分辨率为720×576像素的d1格式。我们需要发送的视频数据源通常是经过mpeg2压缩的,分辨率为352×288像素的cif格式。在输出到显示终端前,处理器需要对cif格式的图像数据插值为d1(720×576像素)格式,然后再通过bt.656并行的硬件接口输出。

在这种前提下,可以利用一个bt.656的硬件接口传输4路不同的cif格式的视频数据流,然后在接收侧通过fpga(现场可编程门阵列)将4路视频数据流分离、插值生成d1格式的数据输出。通过该方式,可以克服某些视频处理器输出端口的限制,使视频输出端口扩展为原来的4倍。同时,由于使用fpga进行插值运算,分担了一部分视频处理器的工作量。

Cif：CIF录像分辨率是主流分辨率，绝大部分产品都采用CIF分辨率。但是清晰度不够高

d1：D1分辨率可以提高清晰度，满足高质量的要求，但是以高码流为代价的，价格高昂

BT.601 和 BT.656 是国际电信联盟无线通信部门（ITU-R）制定的标准。严格来说，ITU-R BT.656应该是隶属ITU-R BT.601的一个子协议。

ITU-R BT.601是演播室数字电视编码参数标准。

ITU-R BT.656则是高清数字视频传输协议,能够把取样结构为4:4:2的视频数据编码成内嵌同步定时基准码的视频数据流进行传输。用于数字化的模拟分量视屏传输。主控制器和模拟视屏编解码芯片之间经常使用的接口。

bt656接口：并行接口9芯，不需要同步信号；8位数据传输；传输速率是601的2倍；先传Y，后传UV。656输出的是串行数据，行场同步信号嵌入在数据流中。

5.VGA接口

一、VGA介绍

VGA(Video Graphics Array)接口也称为D-Sub接口。在CRT显示器时代，VGA接口是必备的。因为CRT是模拟设备，而VGA采用的也是模拟协议，所以它们理所当然被匹配来使用。VGA接口采用15针插针式结构，里面传输分量、同步等信号，是很多老显卡、笔记本和投影仪所使用的接口。

大多数计算机与外部显示设备之间都是通过模拟VGA接口连接，计算机内部以数字方式生成的显示图像信息，被显卡中的数字/模拟转换器转变为R、G、B三原色信号和行、场同步信号，信号通过电缆传输到显示设备中。

对于模拟显示设备，如模拟CRT显示器，信号被直接送到相应的处理电路，驱动控制显像管生成图像。

而对于LCD等数字显示设备，显示设备中需配置相应的A/D（模拟/数字）转换器，将模拟信号转变为数字信号。

在经过D/A和A/D两次转换后，不可避免地造成了一些图像细节的损失。VGA接口应用于CRT显示器无可厚非，但用于连接液晶之类的显示设备，则转换过程的图像损失会使显示效果略微下降。

另一个缺点是它支持的分辨率仅有1080p，在高分辨率下字体容易虚。目前，VGA接口已逐渐退出舞台，现在更新的显示器也已经基本没有VGA接口了。

VGA特点：
1.D型接口
2.传输的是模拟信号
3.传输质量不高
4.不能传输音频(VGA转HDMI或者HDMI转VGA)
5.显示速率快、颜色丰富(输出RGB三原色信号)
6.成本低、结构简单、应用灵活

二、VGA接口设计

VGA接口是一种D型接口，上面共有15针孔，分成三排，每排五个。比较重要的是3根RGB彩色分量信号和2根扫描同步信号HSYNC和VSYNC针。VGA接口中彩色分量采用RS343电平标准。RS343电平标准的峰值电压为1V。

每个引脚的详细定义：

三、VGA显示原理

1.VGA成像的基本原理
计算机内部以数字方式生成的显示图像信息经过 DAC 转换为R，G，B模拟信号，和行、场同步信号，再输出到显示设备成像。对于显示器来说，RGB三个信号其实是模拟信号，其电平的高低可以表示颜色的深浅。

2.扫描原理
VGA 显示器扫描方式从屏幕左上角一点开始，从左向右逐点扫描，每扫描完一行,电子束回到屏幕的左边下一行的起始位置，在这期间，CRT 对电子束进行消隐，每行结束时，用行同步信号进行同步；当扫描完所有的行，形成一帧，用场同步信号进行场同步，并使扫描回到屏幕左上方，同时进行场消隐,开始下一帧。

完成一行扫描的时间称为水平扫描时间，其倒数称为行频率。
完成一帧（整屏）扫描的时间称为垂直扫描时间，其倒数称为场频率。即屏幕的刷新频率，常见的有 60Hz，75Hz 等等。
标准的 VGA 显示的场频 60Hz。其扫描示意图如下图所示：

总的来说，VGA的时序主要包括行时序与场时序两个部分。
其中行时序主要包括：行同步a(Hor Sync) 、行消隐b(Hor Back Porch) 、行视频有效c(Hor Active Video)和行前肩d(Hor Front Porch)这四个参数。

HSYNC Signal是用来控制“列填充”

而场时序主要包括：场同步f(Ver Sync) 、场消隐g(Ver Back Porch) 、场视频有效h(Ver Active Video)和场前肩i(Ver Front Porch)这四个参数。

VSYNC Signal是用来控制“行扫描”

从有效视频信号结束到回扫开始的那一段时间，称作前肩

注意三点：
1、行时序是以”像素”为单位的， 场时序是以”行”为单位的。
2、VGA 工业标准显示模式要求：行同步，场同步都为负极性，即同步脉冲要求是负脉冲。
3、VGA 行时序对行同步时间、 消隐时间、 行视频有效时间和行前肩时间有特定的规范， 场时序也是如此。 常用VGA 分辨率时序参数如下表所示

a:行同步段；b:显示后沿段；c:显示有效段；d:显示前沿段；e:行周期(e=a+b+c+d)
f:帧同步段；g:显示后沿段；h:显示有效段;i:显示前沿段；s:帧周期(s=f+g+h+i)

6.AV接口

复合视频接口（AV接口或Video接口），曾是最普遍的一种视频接口，几乎所有电视机、影碟机都有这个接口。它是音频、视频分离的视频接口，一般由三个独立RCA插头（又叫梅花接口、RCA接口）组成，其中V接口连接混合视频信号，为黄色插口；L接口连接左声道声音信号，为白色插口；R接口连接右声道声音信号，为红色插口。
复合视频接口有两种端子：RCA端子和BNC端子。
RCA端子就是通常所说的莲花头和莲花座，BNC端子就是BNC头和BNC座。
RCA端子既可用在复合视频接口，也可用在音频接口，如果用在音频接口的话，通常又叫3.5莲花头（座）。


AV接口实现了音频和视频的分离传输，这就避免了因为音/视频混合干扰而导致的图像质量下降，但由于AV 接口传输的仍然是一种亮度/色度(Y/C)混合的视频信号，需要对其进行亮/色分离和色度解码才能成像，在先混合，再分离处理过程中必然会造成信号的丢失或失真，画质会造成损失，色度信号和亮度信号也会有很大的机会相互干扰。由于亮度/色度(Y/C)混合的视频信号处理方式所固有的技术缺陷，AV视频接口的应用就有了极大的限制。

目前大多数的DVD、CD播放机都有AV输出接口，方便与视听设备的连接。功放机、卫星电视接收机也配备AV输出接口。其他一些摄录设备，比如录像机、DV机、普通摄影机也有AV接口。

AV信号损失要比VGA接口要大，目前高清视频接口已基本放弃AV接口。

7.S端子 S-Video

S端子是一种视频信号专用接口，为AV接口的升级版，同样是模拟信号传输，但画质较好。

一般DVD或VCD、TV、PC都具备S端子输出功能，投影机可通过专用的S端子线与这些设备的相应端子连接进行视频输入。

多用于同摄像机连接。S端子不属于常用接口，只有在外接DVD或游戏机时会用到，所以普通消费者大可不必考虑此端子，一般液晶电视都配备此接口。

同AV 接口相比，由于S端子（S-Video）不再进行Y/C混合传输，因此无需再进行亮色分离和解码工作。而且使用各自独立的传输通道，在很大程度上避免了视频设备内信号串扰而产生的图像失真，极大地提高了图像的清晰度。

但S-Video仍要将两路色差信号(Cr Cb)混合为一路色度信号C，进行传输然后再在显示设备内解码为Cb和Cr进行处理，这样多少仍会带来一定信号损失而产生失真(这种失真很小但在严格的广播级视频设备下进行测试时仍能发现)。

而且由于Cr Cb的混合导致色度信号的带宽也有一定的限制，所以S-Video虽然已经比较优秀，但离完美还相去甚远。

S-Video虽不是最好的，但考虑到目前的市场状况和综合成本等其它因素，它还是应用最普遍的视频接口之一。

S端子接口根据针数详细的分为4针、7针、8针和9针四种型号。

8.BNC接口

BNC接头，是一种用于同轴电缆（同轴电缆是一种屏蔽电缆，有传送距离长、信号稳定的优点）的连接器。有别于普通15针D-SUB标准接头的特殊显示器接口。BNC接口的连接非常紧，不必担心接口松动而产生接触不良，可以隔绝视频输入信号，使信号相互间干扰减少且信号频宽较普通D-SUB大，可达到最佳信号响应效果。

由RGB三原色信号及行同步、场同步五个独立信号接头组成。BNC接头是监控工程中用于摄像设备输出时导线和摄像机的连接头。

BNC在高档的监视器、音响设备中也经常用来传送音频、视频信号。主要用于连接工作站等对扫描频率要求很高的系统。

9.HDMI接口

HDMI（High Definition Multimedia）高清晰度多媒体接口。HDMI接口可以提供高达5Gbps的数据传输带宽，可以传送无压缩的音频信号及高分辨率视频信号。同时无需在信号传送前进行数/模或者模/数转换，可以保证最高质量的影音信号传送。

主要用于DVD, 机顶盒等音视频source到TV，显示器等设备的传输。

特点：只需要一条HDMI线，便可以同时传送影音信号，而不像现在需要多条线材来连接；同时，由于无需进行数/模或者模/数转换，能取得更高的音频和视频传输质量。对消费者而言，HDMI技术不仅能提供清晰的画质，而且由于音频/视频采用同一电缆 ，大大简化了家庭影院系统的安装。

HDMI在单线缆中集成视频和多声道音频，从而消除了当前A/V系统中使用的多线缆的成本、复杂性和混乱。这在升级或添加设备时特别有用。

10.GMSL

GMSL(Gigabit Multimedia Serial Links)千兆多媒体串行链路。是Maxim公司推出的一种高速串行接口，适用于音频，视频和控制信号的传输。使用50Ω同轴电缆或100Ω屏蔽双绞线电缆，传输距离可达15m或更长。

高级辅助驾驶系统（ADAS）的普及，越来越多的车载摄像头和传感器需要与汽车电子控制单元（ECU）进行数据通信，对车内数据传输的带宽、实时性和稳定性的要求也越来越高，由此诞生了GMSL高速信号传输方式。

面对大量数据，使用并行总线出现的问题：线束多，增加成本和重量，也会增加电磁干扰。还有一个办法就是增加频率，我之前一秒发10组数据，我现在改成一秒发100组，这种方式在数据量不算太大时，是可以实施的。但当数据量达到一定量级后，数据传送难以和时钟同步，同时布线的长度稍有差异，并行总线传输数据的前提是使用同一时序(同时发送，同时接收)。也会导致同步困难，另外，提升时钟频率还容易引起信号线间的相互干扰。

以ADAS摄像头为例，这也是GMSL应用的主要领域。一般来讲，摄像头除了对外发送捕获到的图像数据外，还会发送帧同步信号，行同步信号，像素时钟等信息，此外还有电源供给等等，它是由许多信号线组成的一个并行总线，但是并行总线在高速的数据传输过程中，是不占据优势的，因此我们需要将这些并行的信号合并为串行信号，再通过更高频率进行传输。

其核心技术为串行器/解串器技术，简称SerDes.首先通过串行器将并行数据流转为串行数据流，然后通过更高的频率进行传输，之后通过解串器将接收到的串行数据流转换为并行数据流。

但其中涉及的技术却是很复杂的，需要考虑数据流的合并、回原、带宽以及稳定性等等问题，目前掌握这项技术的只有Maxim和TI两家。

Maxim将这种串行器/解串器技术称为GMSL;
TI将串行器/解串器技术称为FPD Link,现已发展到第三版本:FPD Link III

这两家旗下分别有相对应的串行器和解串器产品，一般是为摄像头供应商服务，集成到摄像头内部。

GMSL该方式具有高带宽、长距离、稳定性高等特点。随着智能汽车当中越来越多的图像/视频数据传输需求，GMSL高速接口正在越来越多地被使用，成为自动驾驶当中必不可少的一部分。

GMSL通信机制：

1、图像传感器Image Sensor将捕获的光信号转为数字信号，经CSI2协议传输给串行器(MAX9295A),传输内容包括:图像数据信息,像素时钟,行同步信号,帧同步信号，其中raw12表示摄像头的传输数据格式为原始数据raw格式,每个像素点有12bit数据，30fps表示每秒发送30张图像。
原始图像文件raw包含从数码相机、扫描器或电影胶片扫描仪的图像传感器所处理数据。之所以这样命名，是因为他们尚未被处理，未被打印或用于编辑。

2、串行器接收到数据信息后，对信息进行串行化处理，将数据整理成包的形式，然后通过同轴电缆，将包以串行的形式发送出去，在通过同轴电缆时，有两个方向的数据流传输，其中一个是前向通道，用于发送摄像头捕捉的图像数据，其带宽为6Gbps,还有一个为回馈通道，用以接收应答信息，带宽为187Mbps，这两个通道的传输速率是不一样的，可以根据实际需要进行设定，这也是GMSL的一大特色。

3、之后解串器会接收到串行器串行化的数据，对数据再进行解串，使数据恢复至原来模样，然后将原始数据传给FPGA,这个一个定制电路板，一般图像处理器ISP模块会集成到里面，原始数据其实就是发送给了FPGA里面的ISP模块，在它里面对数据进行一些算法处理，最终输出RGB或者YUV格式。

4、将处理好的数据发送给了LCD(液晶显示器),但在自动驾驶中，这个地方就会有些差异，ISP会将处理好的图像数据发送给FPGA里的AI芯片，通过卷积神经网络(CNN)对图像进行分类，检测，跟踪等等，然后根据实际情况，指挥FPGA中的MCU对底盘进行控制，以达到自动驾驶的目的。

11.FPD-Link

车载产品一般都会对散热、功耗和结构安装要求比较特殊。fpdlink长距离屏幕显示电路，可以让屏幕和主控板分离，传输线可以做到10米。这将非常适用于汽车后座娱乐系统和汽车记录仪等设备的安装，也就是可以做到主控板和屏幕的分离设计。

应用范围：
（1）汽车导航显示屏
（2）后座娱乐系统
（3）汽车驾驶员辅助系统
（4）车载百万象素级摄像机系统

FPD link(Flat panel display link)平板显示链接是通信标准，是对LVDS物理层规范的应用。FPD-Link是美国国家半导体公司于1996年创建的原始高速数字视频接口。FPD-Link III是第三代总线，主要用于音频视频信号的传输，在汽车内有着广泛的应用，比如ADAS摄像头，信息娱乐系统显示屏。

FPD Link芯片组是一组接口设备，专门用于支持从图形控制器到LCD面板的数据传输。采用的LVDS(低电压差分信号)技术是高速、低功耗数据传输的理想选择。

TI的FPD-Link II系列嵌入式时钟LVDS SerDes为显示应用提供了增强的特性，并改善了前几代 FPD-Link SerDes设备的信号质量。FPD-Link II将时钟嵌入到数据信号中，因此只使用一个差分对来传输时钟和视频数据。这进一步降低了信息娱乐和安全摄像头应用电缆的尺寸、重量和成本。

FPD-Link III的主要特点是在同一差分对上嵌入一个双向通信信道。这种双向通道除了传输时钟和视频流数据外，还在源和目的地之间传输控制信号。因此，FPD Link III通过消除I2C和CAN总线等控制通道的电缆，进一步降低了电缆成本。

local是本地接口,remote是远程接口

LVDS数传接口：GMSL和FPD Link
全新 FPD-Link III车用级串行/解串器芯片组
GMSL SerDes在双汽车电子控制单元(ECU)中的应用
美信推出GMSL四通道解串器MAX9286
车用高速音视频传输串行总线技术简介（APIX、FPD-LINK、GMSL、ClockLessLink）