FFmpeg开发笔记（三十二）利用RTMP协议构建电脑与手机的直播Demo

合集 - FFmpeg开发实战(35)

1.FFmpeg开发笔记（一）搭建Linux系统的开发环境2023-04-162.FFmpeg开发笔记（二）搭建Windows系统的开发环境2023-04-293.FFmpeg开发笔记（三）FFmpeg的可执行程序介绍03-094.FFmpeg开发笔记（四）FFmpeg的动态链接库介绍03-105.FFmpeg开发笔记（五）更新MSYS的密钥环03-166.FFmpeg开发笔记（六）如何访问Github下载FFmpeg源码03-177.FFmpeg开发笔记（九）Linux交叉编译Android的x265库03-308.FFmpeg开发笔记（十）Linux环境给FFmpeg集成vorbis和amr03-319.FFmpeg开发笔记（十一）Windows环境给FFmpeg集成vorbis和amr04-0510.FFmpeg开发笔记（七）欧拉系统编译安装FFmpeg03-2311.FFmpeg开发笔记（八）Linux交叉编译Android的FFmpeg库03-2412.FFmpeg开发笔记（十二）Linux环境给FFmpeg集成libopus和libvpx04-0613.FFmpeg开发笔记（十三）Windows环境给FFmpeg集成libopus和libvpx04-1314.FFmpeg开发笔记（十四）FFmpeg音频重采样的缓存04-1415.FFmpeg开发笔记（十五）详解MediaMTX的推拉流04-2016.FFmpeg开发笔记（十六）Linux交叉编译Android的OpenSSL库04-2117.FFmpeg开发笔记（十七）Windows环境给FFmpeg集成字幕库libass04-2718.FFmpeg开发笔记（十八）FFmpeg兼容各种音频格式的播放05-0419.FFmpeg开发笔记（十九）FFmpeg开启两个线程分别解码音视频05-0520.FFmpeg开发笔记（二十）Linux环境给FFmpeg集成AVS3解码器05-1221.FFmpeg开发笔记（二十一）Windows环境给FFmpeg集成AVS3解码器05-1822.FFmpeg开发笔记（二十二）FFmpeg中SAR与DAR的显示宽高比05-1923.FFmpeg开发笔记（二十三）使用OBS Studio开启RTMP直播推流05-2624.FFmpeg开发笔记（二十四）Linux环境给FFmpeg集成AV1的编解码器05-2725.FFmpeg开发笔记（二十五）Linux环境给FFmpeg集成libwebp06-0126.FFmpeg开发笔记（二十六）Linux环境安装ZLMediaKit实现视频推流06-0227.FFmpeg开发笔记（二十七）解决APP无法访问ZLMediaKit的直播链接问题06-0828.FFmpeg开发笔记（二十八）Linux环境给FFmpeg集成libxvid06-0929.FFmpeg开发笔记（二十九）Windows环境给FFmpeg集成libxvid06-1530.FFmpeg开发笔记（三十）解析H.264码流中的SPS帧和PPS帧06-1631.FFmpeg开发笔记（三十一）使用RTMP Streamer开启APP直播推流06-22

32.FFmpeg开发笔记（三十二）利用RTMP协议构建电脑与手机的直播Demo06-23

33.FFmpeg开发笔记（三十三）分析ZLMediaKit对H.264流的插帧操作06-2934.FFmpeg开发笔记（三十四）Linux环境给FFmpeg集成libsrt和librist06-3035.FFmpeg开发笔记全目录（FFmpeg开发实战详解，含直播系统的搭建过程）06-17

收起

不管是传统互联网还是移动互联网，实时数据传输都是刚需，比如以QQ、微信为代表的即时通信工具，能够实时传输文本和图片。其中一对一的图文通信叫做私聊，多对多的图文通信叫做群聊。

除了常见的图文即时通信，还有实时音视频通信，比如一对一的音频通话、一对一的视频通话等等，此时可采用WebRTC技术，有关WebRTC的编程开发及其项目实战参见《Android Studio开发实战：从零基础到App上线(第3版)》一书的第20章“20.2  给App集成WebRTC”。

但是一对多的在线直播采用WebRTC技术就不太合适了，因为WebRTC只管打洞把双方的网络打通，不考虑综合负载。一旦连接WebRTC的设备多起来，整个WebRTC网络就会瘫痪。那么一对多的在线直播就要考虑部署独立的流媒体服务器，通过专门的流媒体传输协议，处理媒体源的音视频格式转换，以及音频流和视频流的数据分发工作。更多详细的FFmpeg开发知识参见《FFmpeg开发实战：从零基础到短视频上线》一书。

一、常见的四种流媒体传输协议对比

常见的流媒体传输协议主要有下面几类：

1. RTSP协议：网络延迟很低，且支持倍速播放功能。但客户端的对该协议支持很弱，不仅ios不支持播放rtsp流，连大多数浏览器也不能直接播放rtsp流。而且RTSP对服务端的复杂度要求比较高，以至流媒体服务器SRS干脆放弃支持RTSP协议，直播录制软件OBS Studio也没支持该协议。目前RTSP主要应用于对实时性要求高的安防监控领域。
2. RTMP协议：网络延迟较低，稳定性很高，即使网络连接质量欠佳，该协议也能很好地传输数据。但RTMP原本因FLV格式而生，客户端要用Flash播放器播放rtmp链接。而FLV格式后来没落了，以至HTML5规范干脆移除了Flash插件，导致如今浏览器都不支持rtmp链接，连FFmpeg也迟至6.1版才给rtmp协议支持hevc格式。不过好在RTMP的稳定性高，服务端的实现相对容易，因此被大量应用于网络直播领域。
3. SRT协议：拥有固定延迟特性，可以抹平网络的抖动，大大降低视频画面的卡顿现象。该协议引入了AES加密算法，无需像RTSP和RTMP那样引入专门的SSL证书。作为较新的流媒体协议，SRT支持更多的音视频封装格式。只是该协议的支持库libsrt在2017年才开源，因此未能在移动互联网时代大量铺开，目前主要应用于大型电视直播领域。
4. RIST协议：该协议同样于2017年提出，与SRT协议是竞争关系。RIST和SRT具有相同的加密级别，都支持大容量流媒体和前向纠错功能。该协议的制定时间比SRT还晚，虽然晚制定会多考虑新功能，比如RIST支持点到多点广播，而SRT不支持；但是晚制定拖累了各开源软件对RIST的支持力度，比如OBS Studio早在25.0开始支持SRT，迟至27.0才开始支持RIST，另一个直播录制软件RootEncoder已支持SRT尚未支持RIST，流媒体服务器MediaMTX已支持SRT尚未支持RIST。目前RIST在国内的应用还很少。

综上所述，虽然RTMP协议不够完善，但胜在出现早，赶上了好时代，现为国内直播领域主流的流媒体协议。下面就以RTMP为例，介绍如何通过OBS Studio和RTMP Streamer向流媒体服务器做RTMP推流。

二、电脑端通过OBS Studio进行RTMP直播推流

首先启动电脑上的流媒体服务器MediaMTX，具体的操作步骤详见《FFmpeg开发实战：从零基础到短视频上线》一书的“10.2  FFmpeg推流和拉流”，也可参考之前的文章《详解MediaMTX的推拉流》。
接着启动电脑上的直播录制软件OBS Studio，具体的操作步骤详见之前的文章《使用OBS Studio开启RTMP直播推流》。之后让OBS Studio对MediaMTX的rtmp地址“rtmp://127.0.0.1:1935/stream”推流，推流过程的OBS Studio录制界面如下图所示。

然后启动电脑上的流媒体播放器VLC media player，打开网络串流“rtmp://127.0.0.1:1935/stream”，此时VLC media player的视频播放界面如下图所示。

结合OBS Studio的直播录制画面和VLC media player的直播观看界面，可知通过OBS Studio成功实现了RTMP协议的直播功能。

三、手机端通过RTMP Streamer进行RTMP直播推流

首先启动云服务上的流媒体服务器SRS或者ZLMediaKit，在云服务器上部署和启动SRS或者ZLMediaKit比较麻烦，三言两语说不清楚。如果大家想弄明白如何在云服务器上操作SRS或者ZLMediaKit，可在京东自营购买《FFmpeg开发实战：从零基础到短视频上线》一书，联系作者咨询这两个流媒体服务器在云服务器上的详细运行过程。
接着启动手机上的直播录制软件RTMP Streamer，具体的操作步骤详见之前的文章《使用RTMP Streamer开启APP直播推流》。之后让RTMP Streamer对SRS或者ZLMediaKit的rtmp地址“rtmp://124.xxx.xxx.xxx/live/test”推流，推流过程的RTMP Streamer录制界面如下图所示。

观察华为云上的ZLMediaKit日志如下，可见RTMP Streamer正在向后端的流媒体服务器推送直播流：

[MediaServer] [412449-event poller 0] RtmpProtocol.cpp:442 check_C1_Diges | check rtmp complex handshark success!
[MediaServer] [412449-event poller 0] RtmpSession.cpp:128 operator() | 1-11(223.xxx.xxx.xxx:61202) publish 回复时间:0ms
[MediaServer] [412449-event poller 0] MediaSource.cpp:517 emitEvent | 媒体注册:rtmp://__defaultVhost__/live/test
[MediaServer] [412449-event poller 0] MediaSink.cpp:161 emitAllTrackReady | All track ready use 215ms
[MediaServer] [412449-event poller 0] MediaSource.cpp:517 emitEvent | 媒体注册:fmp4://__defaultVhost__/live/test
[MediaServer] [412449-event poller 0] MultiMediaSourceMuxer.cpp:551 onAllTrackReady | stream: rtmp://__defaultVhost__/live/test , codec info: mpeg4-generic[32000/2/16] H264[480/640/0] 
[MediaServer] [412449-event poller 0] MediaSource.cpp:517 emitEvent | 媒体注册:rtsp://__defaultVhost__/live/test
[MediaServer] [412449-event poller 0] MediaSource.cpp:517 emitEvent | 媒体注册:ts://__defaultVhost__/live/test
[MediaServer] [412449-event poller 0] MediaSource.cpp:517 emitEvent | 媒体注册:hls://__defaultVhost__/live/test

然后启动电脑上的流媒体播放器VLC media player，打开网络串流“rtmp://xxx.xxx.xxx/live/test”，此时VLC media player的视频播放界面如下图所示。

观察华为云上的ZLMediaKit日志如下，可见VLC media player正在从后端的流媒体服务器拉取直播流：

[MediaServer] [412449-event poller 0] RtmpProtocol.cpp:442 check_C1_Digest | check rtmp complex handshark success!
[MediaServer] [412449-event poller 0] RtmpSession.cpp:367 operator() | 2-16(112.xxx.xxx.xxx:51055) play 回复时间:1ms

结合RTMP Streamer直播录制画面和VLC media player的直播观看界面，可知通过RTMP Streamer成功实现了RTMP协议的直播功能。
更多详细的FFmpeg开发知识参见《FFmpeg开发实战：从零基础到短视频上线》一书。

 

​