• FLV 格式：为什么直播首选这个流媒体格式？丨音视频基础

    （本文基本逻辑：FLV 封装格式概览 → Audio Tags 解析 → Video Tags 解析 → Data Tags 解析）

    FLV（Flash Video）是 Adobe 公司推出的一种流媒体格式，它的特点是封装后的音视频文件较小、封装规范简单，因此适合在互联网上进行传输和使用。在浏览器普遍支持 Flash 插件的时代，FLV 格式的视频非常流行。但是随着主流的浏览器平台逐步放弃了对 Flash 插件的支持后，以及移动互联网的兴起，App 取代浏览器成为更多内容的载体，在短视频领域 FLV 的地位逐步被 MP4 取代。但是，在直播领域，由于 RTMP 推流、HTTP-FLV 播放的整套方案低延时的特性，以及服务端普遍提供 HTTP Web 服务，能更广泛的兼容 HTTP-FLV，使得 FLV 仍然是大多数直播产品的首选流媒体格式。

    1、FLV 格式概览

    FLV 文件由一个 FLV Header 和一个 FLV Body 组成，在 FLV Body 中则由多组 (PreviousTagSize + Tag) 组成。

    FLV 中 Tag 的类型有三种：

    • Audio Tags
    • Video Tags
    • Data Tags

    Tag 中包含着 audio、video、scripts 的元信息，加密信息（可选）以及对应的实际数据。

    总体来讲，FLV 的结构大致如下表所示：

    2、Audio Tags 解析

    Audio Tag 的结构大致如下所示：

    通常在 AudioTagHeader 后面跟着就是 AUDIODATA 数据了，但是对于 AAC 格式的音频数据来说，AudioTagHeader 会多一个字段 AACPacketType 来表示 AACAUDIODATA 的类型：如果 AACPacketType 为 0，那么数据对应的是 AudioSpecificConfig；如果 AACPacketType 为 1，那么数据对应的为 Raw AAC frame data。

    为什么 AudioTagHeader 中已经有了音频的相关参数，还需要在这里来一个 AudioSpecificConfig 呢？这是因为当 SoundFormat 是 AAC 时，SoundType 需要设置为 1（立体声），SoundRate 需要设置为 4（44k Hz），但这并不说明文件中 AAC 编码的音频必须是 44k Hz 的立体声。播放器在处理 AAC 音频时，需要忽略 AudioTagHeader 中的音频参数，而使用 AudioSpecificConfig 的参数来初始化解码器。

    在 FLV 的文件中，一般情况下 AudioSpecificConfig 只会出现一次，即第一个 Audio Tag。如果音频使用 AAC，那么这个 Tag 就是 AAC sequence header，即 AAC 音频同步包。AudioSpecificConfig 的结构在 ISO/IEC-14496-3 Audio 标准中有做说明。

    下面是 ISO/IEC 14496-3, 1.6.2.1 AudioSpecificConfig：

    1. AudioSpecificConfig() {
    2.     audioObjectType = GetAudioObjectType();
    3.     samplingFrequencyIndex; // 4 bslbf
    4.     if (samplingFrequencyIndex == 0xf) {
    5.         samplingFrequency; // 24 uimsbf
    6.     }
    7.     channelConfiguration; // 4 bslbf
    8.     sbrPresentFlag = -1;
    9.     psPresentFlag = -1;
    10.     if (audioObjectType == 5 || audioObjectType == 29) {
    11.         // ...
    12.     }
    13.     else {
    14.         extensionAudioObjectType = 0;
    15.     }
    16.     switch (audioObjectType) {
    17.     case 1: case 2: case 3: case 4: //...
    18.         GASpecificConfig();
    19.         break:
    20.     case ...:
    21.         //...
    22.     }
    23.     if (extensionAudioObjectType != 5 && bits_to_decode() >= 16) {
    24.         //...
    25.     }
    26.     // ...
    27.  
    28. GetAudioObjectType() {
    29.     audioObjectType; // 5 uimsbf
    30.     if (audioObjectType == 31) {
    31.         audioObjectType = 32 + audioObjectTypeExt; // 6 uimsbf
    32.     }
    33.     return audioObjectType;
    34. }

     下面是 ISO/IEC 14496-3, 1.5.1.1 Audio object type definition：

     下面是 ISO/IEC 14496-3, 1.6.3.4 samplingFrequencyIndex：

    我们常用的 AAC 音频同步包的大小固定为 4 字节，前两个字节被称为 AACDecoderSpecificInfo，用于描述这个音频包应当如何被解析，后两个字节称为 AudioSpecificConfig，更加详细的指定了音频格式。下图是一个 AAC 音频同步包的示例：

     

    在完成 AAC 音频同步包的发送后，我们就可以向服务器推送普通的 AAC 数据包了。在发送数据包时，AACDecoderSpecificInfo 则变为 0xAF01，向服务器说明这个包是普通 AAC 数据包。如果这里的 AAC 数据有包含 7 个字节 ADTS 头（若存在 CRC 校验，则是 9 个字节），那么要去掉这个头后，把裸数据放到这里。如果这里是采集到的裸数据，没有 ADTS 头，那么这里就不需要这样处理了。下图是一个 AAC 音频数据包的示例：

     

     

    对应的，在解析 FLV 时，如果封装的是 AAC 的音频，要在每帧 AAC ES 流前把 7 个字节 ADTS 头添加回来，这是因为 ADTS 是解码器通用的格式，纯的 AAC ES 流要打包成 ADTS 格式的 AAC 文件，解码器才能正常解码。在打包 ADTS 的时候，需要用到 samplingFrequencyIndex 这个信息，samplingFrequencyIndex 最准确的信息是存储在 AudioSpecificConfig 中。

    免费的音视频学习资料领取，见文章最后。

     

    有关 AudioSpecificConfig 结构解析的代码，可以参考 ffmpeg/libavcodec/mpeg4audio.c 中的 avpriv_mpeg4audio_get_config 函数。

    1. int avpriv_mpeg4audio_get_config(MPEG4AudioConfig *c, const uint8_t *buf, int bit_size, int sync_extension)
    2. {
    3.     GetBitContext gb;
    4.     int ret;
    5.  
    6.     if (bit_size <= 0)
    7.         return AVERROR_INVALIDDATA;
    8.  
    9.     ret = init_get_bits(&gb, buf, bit_size);
    10.     if (ret < 0)
    11.         return ret;
    12.  
    13.     return ff_mpeg4audio_get_config_gb(c, &gb, sync_extension);
    14. }
    15.  
    16. int ff_mpeg4audio_get_config_gb(MPEG4AudioConfig *c, GetBitContext *gb, int sync_extension)
    17. {
    18.     int specific_config_bitindex, ret;
    19.     int start_bit_index = get_bits_count(gb);
    20.     c->object_type = get_object_type(gb);
    21.     c->sample_rate = get_sample_rate(gb, &c->sampling_index);
    22.     c->chan_config = get_bits(gb, 4);
    23.     if (c->chan_config < FF_ARRAY_ELEMS(ff_mpeg4audio_channels))
    24.         c->channels = ff_mpeg4audio_channels[c->chan_config];
    25.     c->sbr = -1;
    26.     c->ps  = -1;
    27.     if (c->object_type == AOT_SBR || (c->object_type == AOT_PS &&
    28.         // check for W6132 Annex YYYY draft MP3onMP4
    29.         !(show_bits(gb, 3) & 0x03 && !(show_bits(gb, 9) & 0x3F)))) {
    30.         if (c->object_type == AOT_PS)
    31.             c->ps = 1;
    32.         c->ext_object_type = AOT_SBR;
    33.         c->sbr = 1;
    34.         c->ext_sample_rate = get_sample_rate(gb, &c->ext_sampling_index);
    35.         c->object_type = get_object_type(gb);
    36.         if (c->object_type == AOT_ER_BSAC)
    37.             c->ext_chan_config = get_bits(gb, 4);
    38.     } else {
    39.         c->ext_object_type = AOT_NULL;
    40.         c->ext_sample_rate = 0;
    41.     }
    42.     specific_config_bitindex = get_bits_count(gb);
    43.  
    44.     if (c->object_type == AOT_ALS) {
    45.         skip_bits(gb, 5);
    46.         if (show_bits_long(gb, 24) != MKBETAG('\0','A','L','S'))
    47.             skip_bits_long(gb, 24);
    48.  
    49.         specific_config_bitindex = get_bits_count(gb);
    50.  
    51.         ret = parse_config_ALS(gb, c);
    52.         if (ret < 0)
    53.             return ret;
    54.     }
    55.  
    56.     if (c->ext_object_type != AOT_SBR && sync_extension) {
    57.         while (get_bits_left(gb) > 15) {
    58.             if (show_bits(gb, 11) == 0x2b7) { // sync extension
    59.                 get_bits(gb, 11);
    60.                 c->ext_object_type = get_object_type(gb);
    61.                 if (c->ext_object_type == AOT_SBR && (c->sbr = get_bits1(gb)) == 1) {
    62.                     c->ext_sample_rate = get_sample_rate(gb, &c->ext_sampling_index);
    63.                     if (c->ext_sample_rate == c->sample_rate)
    64.                         c->sbr = -1;
    65.                 }
    66.                 if (get_bits_left(gb) > 11 && get_bits(gb, 11) == 0x548)
    67.                     c->ps = get_bits1(gb);
    68.                 break;
    69.             } else
    70.                 get_bits1(gb); // skip 1 bit
    71.         }
    72.     }
    73.  
    74.     //PS requires SBR
    75.     if (!c->sbr)
    76.         c->ps = 0;
    77.     //Limit implicit PS to the HE-AACv2 Profile
    78.     if ((c->ps == -1 && c->object_type != AOT_AAC_LC) || c->channels & ~0x01)
    79.         c->ps = 0;
    80.  
    81.     return specific_config_bitindex - start_bit_index;
    82. }

     

    3、Video Tags 解析

    Video Tag 的结构大致如下所示：

    如上图所示，一般在 VideoTagHeader 后面跟着的就是 VIDEODATA 数据了，但是对于 AVC(H.264) 的编码格式来说，VideoTagHeader 会多出两个字段 AVCPacketType 和 CompositionTime。AVCPacketType 是表示后面 VIDEODATA 的类型，CompositionTime 则表示 pts 和 dts 的差值。

    如果 AVCPacketType 为 0，那么这里的数据对应的是 AVCDecoderConfigurationRecord；如果 AVCPacketType 为 1，那么这里的数据对应的是 One or more NALUs(Full frames are required)。

    AVCDecoderConfigurationRecord 记录的是 AVC（H.264）解码相关比较重要的 sps 和 pps 信息，解码器在解码数据之前需要首先获取的 sps 和 pps 的信息。在做 seek 或者断流重连等操作引起解码器重启时，也需要给解码器再传一遍 sps 和 pps 信息。

    在 FLV 的文件中，一般情况下 AVCDecoderConfigurationRecord 只会出现一次，即第一个 Video Tag。如果视频使用 AVC，那么这个 Tag 就是 AVC sequence header，即 AVC 视频同步包。AVCDecoderConfigurationRecord 结构的在 ISO/IEC-14496-15 AVC file format 标准中有做说明。

    下面是 ISO/IEC 14496-15, 5.3.3.1.2 AVCDecoderConfigurationRecord：

    1. aligned(8) class AVCDecoderConfigurationRecord {
    2.     unsigned int(8) configurationVersion = 1;
    3.     unsigned int(8) AVCProfileIndication;
    4.     unsigned int(8) profile_compatibility;
    5.     unsigned int(8) AVCLevelIndication; 
    6.     bit(6) reserved = '111111'b;
    7.     unsigned int(2) lengthSizeMinusOne; 
    8.     bit(3) reserved = '111'b;
    9.     unsigned int(5) numOfSequenceParameterSets;
    10.     for (i = 0; i < numOfSequenceParameterSets; i++) {
    11.         unsigned int(16) sequenceParameterSetLength ;
    12.         bit(8*sequenceParameterSetLength) sequenceParameterSetNALUnit;
    13.     }
    14.     unsigned int(8) numOfPictureParameterSets;
    15.     for (i = 0; i < numOfPictureParameterSets; i++) {
    16.         unsigned int(16) pictureParameterSetLength;
    17.         bit(8*pictureParameterSetLength) pictureParameterSetNALUnit;
    18.     }
    19.     if (profile_idc == 100 || profile_idc == 110 ||
    20.         profile_idc == 122 || profile_idc == 144)
    21.     {
    22.         bit(6) reserved = '111111'b;
    23.         unsigned int(2) chroma_format;
    24.         bit(5) reserved = '11111'b;
    25.         unsigned int(3) bit_depth_luma_minus8;
    26.         bit(5) reserved = '11111'b;
    27.         unsigned int(3) bit_depth_chroma_minus8;
    28.         unsigned int(8) numOfSequenceParameterSetExt;
    29.         for (i = 0; i < numOfSequenceParameterSetExt; i++) {
    30.             unsigned int(16) sequenceParameterSetExtLength;
    31.             bit(8*sequenceParameterSetExtLength) sequenceParameterSetExtNALUnit;
    32.         }
    33.     }
    34. }

     下面是 ITU-T H.264(ISO/IEC 14496-10), A.2 Profiles：

    下面是 ITU-T H.264(ISO/IEC 14496-10), A.3 Levels：

    1. Defined level_idc: 10, 9[^1], 11, 12, 13, 20, 21, 22, 30, 31, 32, 40, 41, 42, 50, 51, 52
    2.  
    3. [^1]: "level_idc==9" represents "Leve 1b" unless Baseline(Constrained Baseline), Main, or Extended profiles.

     下面是 ISO/IEC 14496-15, 8.3.3.1.2 HEVCDecoderConfigurationRecord：

    1. aligned(8) class HEVCDecoderConfigurationRecord {
    2.     unsigned int(8) configurationVersion = 1;
    3.     unsigned int(2) general_profile_space;
    4.     unsigned int(1) general_tier_flag;
    5.     unsigned int(5) general_profile_idc;
    6.     unsigned int(32) general_profile_compatibility_flags;
    7.     unsigned int(48) general_constraint_indicator_flags;
    8.     unsigned int(8) general_level_idc;
    9.     bit(4) reserved = ‘1111’b;
    10.     unsigned int(12) min_spatial_segmentation_idc;
    11.     bit(6) reserved = ‘111111’b;
    12.     unsigned int(2) parallelismType;
    13.     bit(6) reserved = ‘111111’b;
    14.     unsigned int(2) chromaFormat;
    15.     bit(5) reserved = ‘11111’b;
    16.     unsigned int(3) bitDepthLumaMinus8;
    17.     bit(5) reserved = ‘11111’b;
    18.     unsigned int(3) bitDepthChromaMinus8;
    19.     bit(16) avgFrameRate;
    20.     bit(2) constantFrameRate;
    21.     bit(3) numTemporalLayers;
    22.     bit(1) temporalIdNested;
    23.     unsigned int(2) lengthSizeMinusOne; 
    24.     unsigned int(8) numOfArrays;
    25.     for (j=0; j < numOfArrays; j++) {
    26.         bit(1) array_completeness;
    27.         unsigned int(1) reserved = 0;
    28.         unsigned int(6) NAL_unit_type;
    29.         unsigned int(16) numNalus;
    30.         for (i=0; i< numNalus; i++) {
    31.             unsigned int(16) nalUnitLength;
    32.             bit(8*nalUnitLength) nalUnit;
    33.         }
    34.     }
    35. }

    下面是 ITU-T H.265(ISO/IEC 23008-2), A.3 Profiles：

    下面是 ITU-T H.265(ISO/IEC 23008-2), A.4 Tiers and levels：

     

     

    下图是一个 AVC 视频同步包的示例，其中红框部分对应的是 VIDEODATA：

     

    下图是一个 AVC 视频数据包的示例，其中红框部分对应的是 VIDEODATA：

     

    有关 AVCDecoderConfigurationRecord 结构解析的代码，可以参考 ffmpeg/libavformat/avc.c 中的 ff_isom_write_avcc 函数。

    1. int ff_isom_write_avcc(AVIOContext *pb, const uint8_t *data, int len)
    2. {
    3.     if (len > 6) {
    4.         /* check for H.264 start code */
    5.         if (AV_RB32(data) == 0x00000001 ||
    6.             AV_RB24(data) == 0x000001) {
    7.             uint8_t *buf=NULL, *end, *start;
    8.             uint32_t sps_size=0, pps_size=0;
    9.             uint8_t *sps=0, *pps=0;
    10.  
    11.             int ret = ff_avc_parse_nal_units_buf(data, &buf, &len);
    12.             if (ret < 0)
    13.                 return ret;
    14.             start = buf;
    15.             end = buf + len;
    16.  
    17.             /* look for sps and pps */
    18.             while (end - buf > 4) {
    19.                 uint32_t size;
    20.                 uint8_t nal_type;
    21.                 size = FFMIN(AV_RB32(buf), end - buf - 4);
    22.                 buf += 4;
    23.                 nal_type = buf[0] & 0x1f;
    24.  
    25.                 if (nal_type == 7) { /* SPS */
    26.                     sps = buf;
    27.                     sps_size = size;
    28.                 } else if (nal_type == 8) { /* PPS */
    29.                     pps = buf;
    30.                     pps_size = size;
    31.                 }
    32.  
    33.                 buf += size;
    34.             }
    35.  
    36.             if (!sps || !pps || sps_size < 4 || sps_size > UINT16_MAX || pps_size > UINT16_MAX)
    37.                 return AVERROR_INVALIDDATA;
    38.  
    39.             avio_w8(pb, 1); /* version */
    40.             avio_w8(pb, sps[1]); /* profile */
    41.             avio_w8(pb, sps[2]); /* profile compat */
    42.             avio_w8(pb, sps[3]); /* level */
    43.             avio_w8(pb, 0xff); /* 6 bits reserved (111111) + 2 bits nal size length - 1 (11) */
    44.             avio_w8(pb, 0xe1); /* 3 bits reserved (111) + 5 bits number of sps (00001) */
    45.  
    46.             avio_wb16(pb, sps_size);
    47.             avio_write(pb, sps, sps_size);
    48.             avio_w8(pb, 1); /* number of pps */
    49.             avio_wb16(pb, pps_size);
    50.             avio_write(pb, pps, pps_size);
    51.             av_free(start);
    52.         } else {
    53.             avio_write(pb, data, len);
    54.         }
    55.     }
    56.     return 0;
    57. }

     

    4、Data Tags 解析

    Data Tag 的结构大致如下所示：

    其中 ScriptTagBody 中的 Name 和 Value 字段都是 SCRIPTDATAVALUE 类型。Name 最终对应的是 String 类型，Value 最终对应的是 ECMA array 类型。

    SCRIPTDATAVALUE 包含两个字段：Type 和 ScriptDataValue，前者表示数据的类型，后者装载实际数据。

    • SCRIPTDATAVALUE：
      • 0 = Number
      • 1 = Boolean
      • 2 = String
      • 3 = Object
      • 4 = MovieClip (reserved, not supported)
      • 5 = Null
      • 6 = Undefined
      • 7 = Reference
      • 8 = ECMA array
      • 9 = Object end marker
      • 10 = Strict array
      • 11 = Date
      • 12 = Long string
      • Type：定义数据的类型
      • ScriptDataValue：数据值

    这些数据都是以 AMF(Action Message Format) 的形式编码。

    Data Tag 里可以承载不同的数据，其中我们最关心是的音视频的 metadata 元信息数据，这些信息是以一个 Name 为 onMetadata 的 SCRIPTDATA Tag 来存储的。

    4.1、onMetadata 解析

    onMetadata 包含着不同的属性，这些属性对于不同的 FLV 文件可能各不相同。

    本文参考

    1）Adobe Flash Video File Format Specification

    https://www.adobe.com/content/dam/acom/en/devnet/flv/video_file_format_spec_v10_1.pdf

    2）基于 libRTMP 的流媒体直播之 AAC、H264 推送

    https://blog.51cto.com/billhoo/1557646

    3）RTMP 协议发送 H.264 编码及 AAC 编码的音视频 https://www.cnblogs.com/haibindev/archive/2011/12/29/2305712.html

    4）ISO IEC 14496-15-2017 http://www.doc88.com/p-8951310719017.html

    通过上文的介绍，我们了解了 FLV 视频封装格式，并探讨了其中 Audio Tags、Video Tags、Data Tags 等模块的具体结构。

     

     

     

     

  • 相关阅读:
    对于Biotin-LC-NHS Estercas:72040-63-2与伯氨基 (-NH2) 反应的作用有哪些？
    ArrayList和LinkedList的区别有哪些？
    第二十三课，抗锯齿（Anti Aliasing）
    网络工程师 ---- 常见的查看命令
    【数据结构】链表-基本定义及代码练习
    nvm管理多个版本的nodejs
    day8-机器学习模型评估
    C语言三子棋，五子棋，n子棋的代码实现
    Maven打Jar包，启动报NoClassDefFoundError错误
    目标检测综述：基于至今先进深度学习的目标检测模型综述（附综述论文及代码下载）...
  • 原文地址：https://blog.csdn.net/yinshipin007/article/details/126374008