目前FPGA实现SDI视频编解码有两种方案:一是使用专用编解码芯片,比如典型的接收器GS2971,发送器GS2972,优点是简单,比如GS2971接收器直接将SDI解码为并行的YCrCb422,GS2972发送器直接将并行的YCrCb422编码为SDI视频,缺点是成本较高,可以百度一下GS2971和GS2972的价格;另一种方案是使用FPGA逻辑资源部实现SDI编解码,利用Xilinx系列FPGA的GTP/GTX资源实现解串,利用Xilinx系列FPGA的SMPTE SDI资源实现SDI编解码,优点是合理利用了FPGA资源,GTP/GTX资源不用白不用,缺点是操作难度大一些,对FPGA开发者的技术水平要求较高。有意思的是,这两种方案在本博这里都有对应的解决方案,包括硬件的FPGA开发板、工程源码等等。
本设计基于Xilinx的Kintex7-325T中端FPGA开发板实现SDI视频编解码+图像缩放,输入源为一个HD-SDI相机,也可以使用SD-SDI或者3G-SDI相机,因为本设计是三种SDI视频自适应的;同轴的SDI视频通过同轴线连接到FPGA开发板的BNC座子,然后同轴视频经过板载的Gv8601a芯片实现单端转差分和均衡EQ的功能;然后差分SDI视频信号进入FPGA内部的GTX高速资源,实现数据高速串行到并行的转换,本博称之为解串;解串后的并行视频再送入Xilinx系列FPGA特有的SMPTE SD/HD/3G SDI IP核,进行SDI视频解码操作并输出BT1120视频,至此,SDI视频解码操作已经完成,可以进行常规的图像处理操作了;本设计的目的是图像缩放后+图像缓存后用UDP协议栈网络视频传输;本设计使用BT1120转RGB模块实现视频格式转换;使用本博常用的纯verilog代码实现的图像缩放架构实现SDI的图像缩放操作,将原始的1920x1080分辨率的SDI视频缩小为1280x720,当然,读者也可以缩放为其他分辨率;使用本博常用的FDMA图像缓存架构实现图像3帧缓存,缓存介质为板载的DDR3;图像从DDR3读出后,进入UDP视频发送架构,该架构由UDP视频组包、FIFO组、UDP协议栈组成,将带发送的视频打包为以太网数据帧,然后进入Xilinx官方的Tri Mode Ethernet MAC IP核将UDP数据转换为RGMII接口的网络数据,再输出给开发板板载的B50610网络PHY,然后UDP视频通过开发板板载的RJ45网口经网线传输给电脑主机,电脑端用我们提供的QT上位机采集图像并显示;本博客提供1套vivado2019.1版本的FPGA工程源码和QT上位机及其源码;具体如下:
现对上述1套工程源码做如下解释,方便读者理解:
工程源码1:
输入视频为HD-SDI相机,输入分辨率为1920x1080@30Hz,经过GTX解串+SMPTE SDI解码+BT1120转RGB+图像缩放+图像缓存+UDP视频发送后,以RJ45网口方式输出,输出分辨率为1280x720@60Hz,电脑主机侧,用QT上位机接收SDI视频并显示;适用于SDI图像缩放转UDP网络传输的项目需求;
提供成套工程解决方案如下:
1、提供FPGA开发板一套;
2、提供SDI相机一套;
3、提供上述的工程源码;
4、提供后续无限期技术支持;
该套方案可快速实现相关项目的落地实施、原型机验证、基础发开、自研自学等。。。
本文详细描述了Xilinx的Kintex7-325T中端FPGA开发板实现SDI视频编解码+图像缩放+UDP视频网络传输,工程代码编译通过后上板调试验证,可直接项目移植,适用于在校学生做毕业设计、研究生项目开发,也适用于在职工程师做项目开发,可应用于医疗、军工等行业的数字成像和图像传输领域;
提供完整的、跑通的工程源码和技术支持;
工程源码和技术支持的获取方式放在了文章末尾,请耐心看到最后;
本工程源码必须配合特定的FPGA开发板才能使用,因为工程源码对FPGA GTX电路有特殊且严格的要求,本博提供已经调试运行成功且稳定的FPGA开发板,也就是本工程源码运行的开发板,本博可提供该开发板给您,配合本工程源码直接跑起来,起飞。。。该开发板基本信息如下:
核心板配置:
FPGA型号:Xilinx–Kintex7–xc7k325tffg676-2;
内存:DDR3 16Gb,型号为K4B1G1646G-BCK0;
FLASH:QSPI FLASH,128Mb,型号为W25Q128FVSG;
底板配置:
1路10/100M/1000M以太网RJ-45接口,PHY为B50610;
2路SFP高速光纤接口,连接GTX,但路最高速率达12Gb/s;
1路HDMI输入,解码芯片为IT6802,最高支持1080p@60Hz;
1路HDMI输出,采用FPGA TMDS电平 IO输出,最高支持1080p@60Hz;
2路SDI输入接口,连接到GTX,支持SD/HD/3G/6G SDI;
2路SDI输出接口,连接到GTX,支持SD/HD/3G/6G SDI;
1路音频输出接口,采用TLV320AIC3104编码芯片;
1路SATA HOST接口;
1路USB2.0接口,采用Cypress CY7C68013A USB2.0控制器芯片;
1路串口,采用Silicon Labs CP2104GM芯片;
1路PCIe x4接口,直连GTX;
40针2.54mm间距的扩展口;
LED、按键等常规器件若干;
本工程及其源码即有自己写的一部分,也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网等等),若大佬们觉得有所冒犯,请私信批评教育;基于此,本工程及其源码仅限于读者或粉丝个人学习和研究,禁止用于商业用途,若由于读者或粉丝自身原因用于商业用途所导致的法律问题,与本博客及博主无关,请谨慎使用。。。
我的博客主页开设有SDI视频专栏,里面全是FPGA编解码SDI的工程源码及博客介绍;既有基于GS2971/GS2972的SDI编解码,也有基于GTP/GTX资源的SDI编解码;既有HD-SDI、3G-SDI,也有6G-SDI、12G-SDI等;专栏地址链接:点击直接前往
SDI视频解码后,可以以HDMI方式输出,也可以以SDI方式输出或者其他,本应用就是解决这个问题,本应用高度符合项目需求,提供3套工程源码,具体如下:
上述所有工程源码均已上板调试通过,详细设计说明请参考我之前的博客,博客链接如下:
点击之前前往
SDI视频解码后,可以进行多种图像处理,本应用就是图像缩放,有的项目需要对SDI图像进行缩放,本应用高度符合项目需求,提供3套工程源码,具体如下:
上述所有工程源码均已上板调试通过,详细设计说明请参考我之前的博客,博客链接如下:
点击之前前往
SDI视频解码后,可以进行多种图像处理,本应用就是图像缩放+视频拼接,有的项目需要对SDI图像进行缩放拼接,本应用高度符合项目需求,提供8套工程源码,具体如下:
上述所有工程源码均已上板调试通过,详细设计说明请参考我之前的博客,博客链接如下:
点击之前前往
有些项目不需要SDI视频解码,只需要SDI编码输出,比如SDI相机,本应用就针对此类项目,将其他视频转换为SDI视频发送出去,提供10套工程源码,具体如下:
上述所有工程源码均已上板调试通过,详细设计说明请参考我之前的博客,博客链接如下:
点击之前前往
有些项目不需要SDI视频解码,只需要SDI编码输出,另加一些图像处理的应用,比如SDI相机,本应用就针对此类项目,将其他视频进行图像缩放+视频拼接后转换为SDI视频发送出去,提供8套工程源码,具体如下:
上述所有工程源码均已上板调试通过,详细设计说明请参考我之前的博客,博客链接如下:
点击之前前往
有些项目不需要SDI视频解码,只需要SDI编码输出,但对SDI视频输出方式有要求,比如要用GT高速接口的SFP光口收发,本方案就是解决此类项目,提供1套工程源码,具体如下:
基于目前市面上FPGA的SDI视频编解码项目培训较少的特点,本博专门开设了FPGA的SDI视频编解码高级项目培训班,专门培训SDI视频的编解码,具体培训计划细节如下:
1、我发你上述共计31套工程源码和对应的工程设计文档网盘链接,你保存下载,作为培训的核心资料;
2、你根据自己的实际情况安装好对应的开发环境,然后对着设计文档进行浅层次的学习;
3、遇到不懂的随时问我,包括代码、职业规划、就业咨询、人生规划、战略规划等等;
4、每周末进行一次腾讯会议,我会检查你的学习情况和面对面沟通交流;
5、你可以移植代码到你自己的FPGA开发板上跑,如果你没有板子,你根据你自己的需求修改代码后,编译工程,把bit发我,我帮你下载到我的板子上验证;或者你可以买我的开发板;
SDI视频编解码+图像缩放+UDP视频网络传输的设计原理框图如下:
我用到的是SDI相机为HD-SDI相机,输出分辨率为1920x1080@30Hz,本工程对SDI相机的选择要求范围很宽,可以是SD-SDI、HD-SDI、3G-SDI,因为很设计对这三种SDI视频是自动识别并自适应的;如果你的手里没有SDI相机,也可以去某宝买HDMI转SDI盒子,一百多块钱就可以搞定,使用笔记本电脑模拟视频源,用HDMI线连接HDMI转SDI盒子,输出SDI视频做事视频源,可以模拟SDI相机;
Gv8601a芯片实现单端转差分和均衡EQ的功能,这里选用Gv8601a是因为借鉴了了Xilinx官方的方案,当然也可以用其他型号器件。Gv8601a均衡器原理图如下:
本设计使用Xilinx特有的GTX高速信号处理资源实现SDI差分视频信号的解串与串化,对于SDI视频接收而言,GTX起到解串的作用,即将输入的高速串行的差分信号解为并行的数字信号;对于SDI视频发送而言,GTX起到串化的作用,即将输入的并行的数字信号串化为高速串行的差分信号;GTX的使用一般需要例化GTX IP核,通过vivado的UI界面进行配置,但本设计需要对SD-SDI、HD-SDI、3G-SDI视频进行自动识别和自适应处理,所以需要使得GTX具有动态改变线速率的功能,该功能可通过DRP接口配置,也可通过GTX的rate接口配置,所以不能使用vivado的UI界面进行配置,而是直接例化GTX的GTXE2_CHANNEL和GTXE2_COMMON源语直接使用GTX资源;此外,为了动态配置GTX线速率,还需要GTX控制模块,该模块参考了Xilinx的官方设计方案,具有动态监测SDI模式,动态配置DRP等功能;该方案参考了Xilinx官方的设计;GTX 解串与串化模块代码架构如下:
SMPTE SD/HD/3G SDI IP核是Xilinx系列FPGA特有的用于SDI视频编解码的IP,该IP配置使用非常简单,vivado的UI界面如下:
SMPTE SD/HD/3G SDI IP核必须与GTX配合才能使用,对于SDI视频接收而言,该IP接收来自于GTX的数据,然后将SDI视频解码为BT1120视频输出,对于SDI视频发送而言,该IP接收来自于用户侧的的BT1120视频数据,然后将BT1120视频编码为SDI视频输出;该方案参考了Xilinx官方的设计;SMPTE SD/HD/3G SDI IP核代码架构如下:
BT1120转RGB模块的作用是将SMPTE SD/HD/3G SDI IP核解码输出的BT1120视频转换为RGB888视频,它由BT1120转CEA861模块、YUV422转YUV444模块、YUV444转RGB888三个模块组成,该方案参考了Xilinx官方的设计;BT1120转RGB模块代码架构如下:
图像缩放模块功能框图如下,由跨时钟FIFO、插值+RAM阵列构成,跨时钟FIFO的目的是解决跨时钟域的问题,比如从低分辨率视频放大到高分辨率视频时,像素时钟必然需要变大,这是就需要异步FIFO了,插值算法和RAM阵列具体负责图像缩放算法层面的实现;
插值算法和RAM阵列以ram和fifo为核心进行数据缓存和插值实现,设计架构如下:
图像缩放模块代码架构如下:模块的例化请参考工程源码的顶层代码;
图像缩放模块FIFO的选择可以调用工程对应的vivado工具自带的FIFO IP核,也可以使用纯verilog实现的FIFO,可通过接口参数选择,图像缩放模块顶层接口如下:
module helai_video_scale #(
//---------------------------Parameters----------------------------------------
parameter FIFO_TYPE = "xilinx", // "xilinx" for xilinx-fifo ; "verilog" for verilog-fifo
parameter DATA_WIDTH = 8 , //Width of input/output data
parameter CHANNELS = 1 , //Number of channels of DATA_WIDTH, for color images
parameter INPUT_X_RES_WIDTH = 11 //Widths of input/output resolution control signals
)(
input i_reset_n , // 输入--低电平复位信号
input [INPUT_X_RES_WIDTH-1:0] i_src_video_width , // 输入视频--即缩放前视频的宽度
input [INPUT_X_RES_WIDTH-1:0] i_src_video_height, // 输入视频--即缩放前视频的高度
input [INPUT_X_RES_WIDTH-1:0] i_des_video_width , // 输出视频--即缩后前视频的宽度
input [INPUT_X_RES_WIDTH-1:0] i_des_video_height, // 输出视频--即缩后前视频的高度
input i_src_video_pclk , // 输入视频--即缩前视频的像素时钟
input i_src_video_vs , // 输入视频--即缩前视频的场同步信号,必须为高电平有效
input i_src_video_de , // 输入视频--即缩前视频的数据有效信号,必须为高电平有效
input [DATA_WIDTH*CHANNELS-1:0] i_src_video_pixel , // 输入视频--即缩前视频的像素数据
input i_des_video_pclk , // 输出视频--即缩后视频的像素时钟,一般为写入DDR缓存的时钟
output o_des_video_vs , // 输出视频--即缩后视频的场同步信号,高电平有效
output o_des_video_de , // 输出视频--即缩后视频的数据有效信号,高电平有效
output [DATA_WIDTH*CHANNELS-1:0] o_des_video_pixel // 输出视频--即缩后视频的像素数据
);
FIFO_TYPE选择原则如下:
1:总体原则,选择"xilinx"好处大于选择"verilog";
2:当你的FPGA逻辑资源不足时,请选"xilinx";
3:当你图像缩放的视频分辨率较大时,请选"xilinx";
4:当你的FPGA没有FIFO IP或者FIFO IP快用完了,请选"verilog";
5:当你向自学一下异步FIFO时,,请选"verilog";
6:不同FPGA型号对应的工程FIFO_TYPE参数不一样,但选择原则一样,具体参考代码;
2种插值算法的整合与选择
本设计将常用的双线性插值和邻域插值算法融合为一个代码中,通过输入参数选择某一种算法;
具体选择参数如下:
input wire i_scaler_type //0-->bilinear;1-->neighbor
通过输入i_scaler_type 的值即可选择;
输入0选择双线性插值算法;
输入1选择邻域插值算法;
代码里的配置如下:
图像缩放模块使用非常简单,顶层代码里设置了四个参数,举例如下:
上图视频通过图像缩放模块但不进行缩放操作,旨在掌握图像缩放模块的用法;如果需要将图像放大到1080P,则修改为如下:
当然,需要修改的不仅仅这一个地方,FDMA的配置也需要相应修改,详情请参考代码,但我想要证明的是,图像缩放模块使用非常简单,你都不需要知道它内部具体怎么实现的,上手就能用;
使用本博常用的FDMA图像缓存架构实现图像3帧缓存,缓存介质为板载的DDR3;FDMA图像缓存架构由FDMA、FDMA控制器、缓存帧选择器构成、Xilinx MIG IP核构成;图像缓存使用Xilinx vivado的Block Design设计,如下图:
关于FDMA更详细的介绍,请参考我之前的博客,博文链接如下:
点击直接前往
需要注意的是,为了适应UDP视频传输,这里的FDMA已被我修改,和以往版本不同,具体参考代码;
本UDP协议栈方案需配合Xilinx的Tri Mode Ethernet MAC三速网IP一起使用,使用UDP协议栈网表文件,虽看不见源码但可正常实现UDP通信,该协议栈目前并不开源,只提供网表文件,但不影响使用,该协议栈带有用户接口,使得用户无需关心复杂的UDP协议而只需关心简单的用户接口时序即可操作UDP收发,非常简单;协议栈架构如下:
协议栈性能表现如下:
1:支持 UDP 接收校验和检验功能,暂不支持 UDP 发送校验和生成;
2:支持 IP 首部校验和的生成和校验,同时支持 ICMP 协议中的 PING 功能,可接收并响应同一个子网内部设备的 PING 请求;
3:可自动发起或响应同一个子网内设备的 ARP 请求,ARP 收发完全自适应。ARP 表可保存同一个子网内部256 个 IP 和 MAC 地址对;
4:支持 ARP 超时机制,可检测所需发送数据包的目的 IP 地址是否可达;
5:协议栈发送带宽利用率可达 93%,高发送带宽下,内部仲裁机制保证 PING 和 ARP 功能不受任何影响;
6:发送过程不会造成丢包;
7:提供64bit位宽AXI4-Stream形式的MAC接口,可与Xilinx官方的千兆以太网IP核Tri Mode Ethernet MAC,以及万兆以太网 IP 核 10 Gigabit Ethernet Subsystem、10 Gigabit Ethernet MAC 配合使用;
有了此协议栈,我们无需关心复杂的UDP协议的实现了,直接调用接口即可使用。。。
本UDP协议栈用户接口发送时序如下:
本UDP协议栈用户接口接收时序如下:
实现UDP视频数据的组包,UDP数据发送必须与QT上位机的接受程序一致,上位机定义的UDP帧格式包括帧头个UDP数据,帧头定义如下:
FPGA端的UDP数据组包代码必须与上图的数据帧格式对应,否则QT无法解析,代码中定义了数据组包状态机以及数据帧,如下:
另外,由于UDP发送是64位数据位宽,而图像像素数据是24bit位宽,所以必须将UDP数据重新组合,以保证像素数据的对齐,这部分是整个工程的难点,也是所有FPGA做UDP数据传输的难点;
UDP协议栈具有发送和接收功能,但这里仅用到了发送,此部分代码架构如下:
UDP协议栈代码组我已经做好,用户可直接拿去使用;
这里对代码中用到的数据缓冲FIFO组做如下解释:
由于 UDP IP 协议栈的 AXI-Stream 数据接口位宽为 64bit,而 Tri Mode Ethernet MAC 的 AXI-Stream数据接口位宽为 8bit。因此,要将 UDP IP 协议栈与 Tri Mode Ethernet MAC 之间通过 AXI-Stream 接口互联,需要进行时钟域和数据位宽的转换。实现方案如下图所示:
收发路径(本设计只用到了发送)都使用了2个AXI-Stream DATA FIFO,通过其中1个FIFO实现异步时钟域的转换,1个FIFO实
现数据缓冲和同步Packet mode功能;由于千兆速率下Tri Mode Ethernet MAC的AXI-Stream数据接口同步时钟信号为125MHz,此时,UDP协议栈64bit的AXI-Stream数据接口同步时钟信号应该为125MHz/(64/8)=15.625MHz,因此,异步
AXI-Stream DATA FIFO两端的时钟分别为125MHz(8bit),15.625MHz(64bit);UDP IP协议栈的AXI-Stream接口经过FIFO时钟域转换后,还需要进行数据数据位宽转换,数据位宽的转换通过AXI4-Stream Data Width Converter完成,在接收路径中,进行 8bit 到 64bit 的转换;在发送路径中,进行 64bit 到 8bit 的转换;
UDP协议栈留出了IP地址、端口号的修改端口供用户自由修改,位置如下:
本设计调用了Xilinx官方IP:Tri Mode Ethernet MAC,其在代码中的位置如下:
可以看到其中Tri Mode Ethernet MAC IP处于被锁定状态,这是我们故意为之,目的是根据不同的PHY延时参数而修改其内部代码和内部时序约束代码,由于本设计使用的网络PHY为B50610,所以这里重点介绍使用B50610时Tri Mode Ethernet MAC的修改和移植事项,当你需要工程移植,或者你的vivado版本与我的不一致时,Tri Mode Ethernet MAC都需要在vivado中进行升级,但由于该IP已被我们人为锁定,所以升级和修改需要一些高端操作,关于操作方法,我专门写了一篇文档,已附在资料包里,如下:
本设计开发板使用的网络PHY为B50610,工作在延时模式下,原理图引出了MDIO,但代码中不需要MDIO配置,通过上下拉电阻即可使B50610工作于延时模式,该PHY最高支持千兆,且能在10M/100M/1000M之间自动协商,但本设计在Tri Mode Ethernet MAC端固定为1000M;在资料包中,我们提供B50610的原理图;
我们提供和UDP通信协议相匹配的QT抓图显示上位机及其源代码,目录如下:
我们的QT目前仅支持1280x720分辨率的视频抓图显示,但同时预留了1080P接口,对QT开发感兴趣的朋友可以尝试修改代码以适应1080P,因为QT在这里只是验证工具,不是本工程的重点,所以不再过多赘述,详情请参考资料包的QT源码,位置如下:
本博客提供1套工程源码,vivado Block Design设计如下,Block Design设计为图像缓存架构的部分:
工程源码架构如下:
开发板FPGA型号:Xilinx–Kintex7–xc7k325tffg676-2;
开发环境:Vivado2019.1;
输入:HD-SDI相机,分辨率1920x1080@30Hz;
输出:UDP-B50610-RJ45网口;
缩放方案:1920x1080–>1280x720@60Hz;
工程作用:此工程目的是让读者掌握FPGA实现SDI图像缩放+UDP网络传输的设计能力,以便能够移植和设计自己的项目;
工程Block Design和工程代码架构请参考第3章节“详细设计方案”的“工程源码架构”小节内容;
工程的资源消耗和功耗如下:
1:如果你的vivado版本与本工程vivado版本一致,则直接打开工程;
2:如果你的vivado版本低于本工程vivado版本,则需要打开工程后,点击文件–>另存为;但此方法并不保险,最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本;
3:如果你的vivado版本高于本工程vivado版本,解决如下:
打开工程后会发现IP都被锁住了,如下:
此时需要升级IP,操作如下:
如果你的FPGA型号与我的不一致,则需要更改FPGA型号,操作如下:
更改FPGA型号后还需要升级IP,升级IP的方法前面已经讲述了;
1:由于每个板子的DDR不一定完全一样,所以MIG IP需要根据你自己的原理图进行配置,甚至可以直接删掉我这里原工程的MIG并重新添加IP,重新配置;
2:根据你自己的原理图修改引脚约束,在xdc文件中修改即可;
3:纯FPGA移植到Zynq需要在工程中添加zynq软核;
需要准备的器材如下:
FPGA开发板;
SDI摄像头;
网线;
笔记本电脑;
我的开发板了连接如下:
然后将你的电脑IP地址改为和代码里规定的IP一致,当然,代码里的IP是可以任意设置的,但代码里的IP修改后,电脑端的IP也要跟着改,我的设置如下:
在开始测试前,我们先ping一下,测试UDP是否连通,如下:
工程1为HD-SDI 1920x1080@30Hz分辨率输入,经图像缩放+UDP视频传输后,由笔记本电脑的QT上位机接收并显示,输出如下:
SDI-resize-UDP-2024
福利:工程代码的获取
代码太大,无法邮箱发送,以某度网盘链接方式发送,
资料获取方式:私,或者文章末尾的V名片。
网盘资料如下:
此外,有很多朋友给本博主提了很多意见和建议,希望能丰富服务内容和选项,因为不同朋友的需求不一样,所以本博主还提供以下服务: