一种基于屏幕分辨率的RTSP主子码流切换的多路视频监控的播放方案

技术背景：

用户场景下，存在多个监控场所的100路监控摄像头，例如：大华、海康、宇视、杭州宇泛的枪机、球机、半球、NVR、DVR等不同类型的监控设备，通过视频监控平台进行设备的管理，通过RTSP拉流的方案管理监控的每一路监控设备，通过客户端软件进行监控点位的直播查看（客户端软件或Chrome浏览器多窗口查看），一般用户的客户端显示屏为1920*1080的分辨率，一般监控多窗口分屏为1窗口，4窗口，8窗口，16窗口，32窗口，64窗口，不同厂家的监控摄像头都至少有2路码流（高清主码流一路，普清子码流一路），一般主码流配置为H264/1080P，一般子码流H264/D1，主子码流均可以根据用户的业务场景需要进行调整，一般普通用户查看预览的客户端软件所在的硬件支持的8路H264/1080P，超过之后一般硬件无法满足视频监控的解码需求。

技术问题：

1. 一般用户的屏幕分辨率为1920*1080
2. 用户的硬件配置支持的最大解码能力一般为8路H264/1080P/30FPS
3. 超过4窗口的屏幕1920*1080，4窗口分屏模式下每个窗口的分辨率为：480*270，1080P高清解码对于用户监控小窗口查看并无实际意义
4. 8窗口、16窗口以及以上对于视频监控场景查看是常见的使用需求
5. 1080P高清解码会占用更多的硬件资源，如cpu，内存，显卡，以及耗电量
6. 大华，海康，宇视，杭州宇泛的监控设备均不支持通过RTSP请求自动切换主子码流

1. 关键概念解释：

• 1080P：1920*1080视频分辨率
• CIF：352*288视频分辨率
• D1：4CIF 720×576视频分辨率
• RTSP：视频监控设备的一种取流协议
• 主码流和子码流：摄像头提供的2路码流模式，主码流是高像素分辨率模式，子码流是低像素低分辨率模式
• 比值：比值 =（视频分辨率宽*高）/（屏幕分辨率宽*高），策略阀值为6参照的是4窗口和9窗口屏幕分辨率中间的某个整数值
• ws-flv：ws-flv的协议的播放地址

方案介绍：

1)配置大华监控IPC的主码流视频参数：H264/1080P/30FPS/4096Kbps，子码流视频参数：H264/D1/20FPS/512Kbps
2)一般解码1路1080P主码流的所需要的硬件资源可以解码6路D1的子码流
3)添加大华设备管理，分别配置主码流的RTSP地址和子码流的RTSP的拉流地址，例如：大华主码流：rtsp://账号:密码@设备IP:554/cam/realmonitor?channel=1&subtype=0，大华子码流：rtsp://账号:密码@设备IP:554/cam/realmonitor?channel=1&subtype=1
4)播放客户端获取设备的主子码流的分辨率参数
5)客户端获取屏幕分辨率，例如：1920*1080，根据如下策略切换播放主码流，还是子码流
6)判断播放切分之后的窗口的分辨率和主码流分辨率的比值，比值 = (主码流分辨率宽*高)/（窗口宽*窗口高）
7)若是比值 > 6（一般比值6为4窗口以上或窗口占屏幕分辨率小于1/4）则切换子码流播放，说明主码流解码得到的视频画面对于所在的窗口的呈现是一种资源浪费
8)对于子码流播放的窗口，若窗口布局发生变化，比值 < 6，如从9窗口，点击某个窗口进行全屏播放，则切换为主码流播放
9)客户端也可根据解码能力的情况进行播放的主子码流的切换
10)播放一路子码流比播放一路主码流一般会更加的省电
11)可以适应不同的窗口布局和用户的不同的分辨率的场景
12)不需要媒体服务转码，只需要主子码流的切换即可使用更多窗口的监控查看的场景

核心流程图：

1)通过设备的网页地址登录设备，输入设备的账号和密码，在配置设备的网络信息时也可以按照此参照方案同步配置视频的参数信息
2)进入设备的视频参数配置选项，根据业务场景的需要，若是用户的屏幕分辨率为1920*1080则推荐的配置主码流的视频参数为：H264/1080P/30FPS/4096Kbps，子码流的视频参数为：H264/D1/20FPS/512Kbps
3)登录视频监控平台（或类似产品如宇泛软定义智能盒子产品）
4)管理员添加视频监控设备，输入设备的主码流的RTSP地址和子码流的播放RTSP地址
5)视频监控平台的设备管理服务校验RTSP地址参数是否有效，对应的RTSP地址的设备的网络是否ping通，若是通则认为添加的设备在线，若网络ping不通则认为设备离线，并定时ping此网络设备的网络地址
6)用户通过chrome浏览器登录视频监控平台，多窗口查看有权限的设备列表，并选择监控查看
7)客户端软件获取屏幕的分辨率，查询设备的主码流的分辨率
8)根据用户的选择的多分屏数，如4分屏，9分屏，16分屏等获取播放窗口的分辨率的数据
9)对比设备的主码流的分辨率和播放窗口的分辨率的比值，若是比值小于6，则获取主码流的ws-flv的播放地址，否则获取子码流的ws-flv的播放地址
10)从媒体服务器触发rtsp的取流接口，从媒体服务器获取媒体流转发的ws-flv的播放流进行播放
设置播放器的默认的解码方式为硬解码优先，若硬解码失败则使用CPU解码