使用ffmpeg和sdl播放视频实现时钟同步

自定义播放器系列

第一章 视频渲染
第二章 音频（push）播放
第三章 音频（pull）播放
第四章 实现时钟同步（本章）
第五章 实现通用时钟同步
第六章 实现播放器

---

---

前言

使用ffmpeg和sdl实现播放视频后，需要再实现时钟同步才能正常的播放视频，尤其是有音频的情况，我们通常需要将视频同步到音频来确保音画同步。视频的时钟同步有时是很难理解的，甚至知道了理论并不能确保实现，需要通过实践获取各种参数以及具体的实现逻辑。本文将介绍一些视频时钟同步的具体实现方式。

---

一、直接延时

我们播放视频是可以直接延时的，这种方式比较不准确，但是也算是一种初级的方法。

1、根据帧率延时

每渲染一帧都进行一个固定的延时，这个延时的时间是通过帧率计算得来。

//获取视频帧率
AVRational framerate = play->formatContext->streams[video->decoder.streamIndex]->avg_frame_rate;
//根据帧率计算出一帧延时
double duration = (double)framerate.num / framerate.den;
//显示视频
略
//延时
av_usleep(duration* 1000000);
1
2
3
4
5
6
7
8

2、根据duration延时

每渲染一帧根据其duration进行延时，这个duration在视频的封装格式中通常会包含。

//获取当前帧的持续时间，下列方法有可能会无法获取duration，还有其他方法获取duration这里不具体说明，比如ffplay通过缓存多帧，来计算duartion。或者自己实现多帧估算duration。
AVRational timebase = play->formatContext->streams[video->decoder.streamIndex]->time_base;
double duration = frame->pkt_duration * (double)timebase.num / timebase.den;
//显示视频
略
//延时
av_usleep(duration* 1000000);
1
2
3
4
5
6
7

---

二、同步到时钟

注：这一部分讲的只有视频时钟同步不涉及音频。
上面的简单延时一定程度可以满足播放需求，但也有问题，不能确保时间的准确性。尤其是解复用解码也会消耗时间，单纯的固定延时会导致累计延时。这个时候我们就需要一个时钟来校准每一帧的播放时间。

1、同步到绝对时钟

比较简单的方式是按绝对的方式同步到时钟，即视频有多长，开始之后一定是按照系统时间的长度播放完成，如果视频慢了则会不断丢帧，直到追上时间。

定义一个视频起始时间,在播放循环之外的地方。

//视频起始时间，单位为秒
double videoStartTime=0;
1
2

播放循环中进行时钟同步。下列代码的frame为解码的AVFrame。

//以下变量时间单位为s	
//当前时间
double currentTime = av_gettime_relative() / 1000000.0 - videoStartTime;
//视频帧的时间
double	pts = frame->pts * (double)timebase.num / timebase.den;
//计算时间差,大于0则late，小于0则early。
double diff = currentTime - pts;
//视频帧的持续时间，下列方法有可能会无法获取duration，还有其他方法获取duration这里不具体说明，比如ffplay通过缓存多帧，来计算duartion。
double duration = frame->pkt_duration * (double)timebase.num / timebase.den;
//大于阈值，修正时间，时钟和视频帧偏差超过0.1s时重新设置起点时间。
if (diff > 0.1)
{
	videoStartTime = av_gettime_relative() / 1000000.0 - pts;
	currentTime = pts;
	diff = 0;
}
//时间早了延时
if (diff < 0)
{
    //小于阈值,修正延时，避免延时过大导致程序卡死
    if (diff< -0.1)
    {
	    diff =-0.1;
    }
	av_usleep(-diff * 1000000);
	currentTime = av_gettime_relative() / 1000000.0 -videoStartTime;
	diff = currentTime - pts;
}
//时间晚了丢帧，duration为一帧的持续时间，在一个duration内是正常时间，加一个duration作为阈值来判断丢帧。
if (diff > 2 * duration)
{
	av_frame_unref(frame);
	av_frame_free(&frame);
	//此处返回即不渲染，进行丢帧。也可以渲染追帧。
	return;
}
//显示视频
略
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

2、同步到视频时钟

同步到视频时钟就是，按照视频播放的pts为基准，每次渲染的时候都根据当前帧的pts更新视频时钟。与上面的差距只是多了最底部一行时钟更新代码。

//更新视频时钟
videoStartTime = av_gettime_relative() / 1000000.0 - pts;
1
2

因为与上一节代码基本一致，所以不做具体说明，直接参考上一节说明即可。

//以下变量时间单位为s	
//当前时间
double currentTime = av_gettime_relative() / 1000000.0 - videoStartTime;
//视频帧的时间
double	pts = frame->pts * (double)timebase.num / timebase.den;
//计算时间差,大于0则late，小于0则early。
double diff = currentTime - pts;
//视频帧的持续时间，下列方法有可能会无法获取duration，还有其他方法获取duration这里不具体说明，比如ffplay通过缓存多帧，来计算duartion。
double duration = frame->pkt_duration * (double)timebase.num / timebase.den;
//大于阈值，修正时间，时钟和视频帧偏差超过0.1s时重新设置起点时间。
if (diff > 0.1)
{
	videoStartTime = av_gettime_relative() / 1000000.0 - pts;
	currentTime = pts;
	diff = 0;
}
//时间早了延时
if (diff < 0)
{
    //小于阈值,修正延时，避免延时过大导致程序卡死
    if (diff< -0.1)
    {
	    diff =-0.1;
    }
	av_usleep(-diff * 1000000);
	currentTime = av_gettime_relative() / 1000000.0 - videoStartTime;
	diff = currentTime - pts;
}
//时间晚了丢帧，duration为一帧的持续时间，在一个duration内是正常时间，加一个duration作为阈值来判断丢帧。
if (diff > 2 * duration)
{
	av_frame_unref(frame);
	av_frame_free(&frame);
	//此处返回即不渲染，进行丢帧。也可以渲染追帧。
	return;
}
//更新视频时钟
videoStartTime = av_gettime_relative() / 1000000.0 - pts;
//显示视频
略
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

---

三、同步到音频

1.音频时钟的计算

要同步到音频我们首先得计算音频时钟，通过音频播放的数据长度可以计算出pts。

定义两个变量，音频的pts，以及音频时钟的起始时间startTime。

//下列变量单位为秒
double audioPts=0;
double audioStartTime=0;
1
2
3

在sdl的音频播放回调中计算音频时钟。其中spec为SDL_AudioSpec是SDL_OpenAudioDevice的第四个参数。

//音频设备播放回调
static void play_audio_callback(void* userdata, uint8_t* stream, int len) {
    //写入设备的音频数据长度
    int dataSize;
    //将数据拷贝到stream
    略
    //计算音频时钟
    if (dataSize > 0)
	{
	  //计算当前pts
      audioPts+=(double) (dataSize)*/ (spec.freq * av_get_bytes_per_sample(forceFormat) * spec.channels);
      //更新音频时钟
      audioStartTime= = av_gettime_relative() / 1000000.0 -audioPts;
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

2.同步到音频时钟

有了音频时钟后，我们需要将视频同步到音频，在二、2的基础上加入同步逻辑即可。

//同步到音频	
double avDiff = 0;
avDiff = videoStartTime - audioStartTime;
diff += avDiff;
1
2
3
4

完整代码

//以下变量时间单位为s	
//当前时间
double currentTime = av_gettime_relative() / 1000000.0 - videoStartTime;
//视频帧的时间
double	pts = frame->pts * (double)timebase.num / timebase.den;
//计算时间差,大于0则late，小于0则early。
double diff = currentTime - pts;
//视频帧的持续时间，下列方法有可能会无法获取duration，还有其他方法获取duration这里不具体说明，比如ffplay通过缓存多帧，来计算duartion。
double duration = frame->pkt_duration * (double)timebase.num / timebase.den;
//同步到音频	
double avDiff = 0;
avDiff = videoStartTime - audioStartTime;
diff += avDiff;
//大于阈值，修正时间，时钟和视频帧偏差超过0.1s时重新设置起点时间。
if (diff > 0.1)
{
	videoStartTime = av_gettime_relative() / 1000000.0 - pts;
	currentTime = pts;
	diff = 0;
}
//时间早了延时
if (diff < 0)
{
    //小于阈值,修正延时，避免延时过大导致程序卡死
    if (diff< -0.1)
    {
	    diff =-0.1;
    }
	av_usleep(-diff * 1000000);
	currentTime = av_gettime_relative() / 1000000.0 - videoStartTime;
	diff = currentTime - pts;
}
//时间晚了丢帧，duration为一帧的持续时间，在一个duration内是正常时间，加一个duration作为阈值来判断丢帧。
if (diff > 2 * duration)
{
	av_frame_unref(frame);
	av_frame_free(&frame);
	//此处返回即不渲染，进行丢帧。也可以渲染追帧。
	return;
}
//更新视频时钟
videoStartTime = av_gettime_relative() / 1000000.0 - pts;
//显示视频
略
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44

---

总结

就是今天要讲的内容，本文简单介绍了几种视频时钟同步的方法，不算特别难，但是在网上查找的资料比较少。可以参考的ffplay的实现也有点复杂，本文的实现部分借鉴了ffplay。本文实现的时钟同步还是可以继续优化的，比如用pid进行动态控制。以及duration的计算可以细化调整。