ffmpeg 像素格式基础知识
----------------------------------------
甲. YUV 颜色空间命名含义
----------------------------------------
Y分量是不压缩的，对UV色度分量进行一定程度的压缩。
YUV4:4:4
YUV4:4:0
YUV4:2:2
YUV4:2:0
YUV4:1:1
YUV4:1:0
具体的含义是什么？
考虑一个4*2的色块，共8个像素，2行（奇数行，偶数行）
第一个值总是被称为4，代表亮度在奇数行偶数行都被采样4次，总是被采样。
第二个值被称为4，2或1， 代表色度数据第一行被采样4次，2次或1次，此处的色度代表U或V
第三个值被称为4，2或1,0， 代表色度数据第二行被采样4次，2次或1次，或0次.
同一种采样方式，数据在内存中的存储又分三种方式：
1.packed: 按YUYVYUYV。。。交织在一起存放
2.planar: 按YYYYY。。。，UUUUU。。。，VVVV。。。分开存放
3.semi_planar: 按YYYY.... UVUVUV....分开存放
定义1：AVPixelFormat: 定义了像素格式 ID
enum AVPixelFormat {
AV_PIX_FMT_NONE = -1,
AV_PIX_FMT_YUV420P, ///< planar YUV 4:2:0, 12bpp, (1 Cr & Cb sample per 2x2 Y samples)
AV_PIX_FMT_YUYV422, ///< packed YUV 4:2:2, 16bpp, Y0 Cb Y1 Cr
AV_PIX_FMT_RGB24, ///< packed RGB 8:8:8, 24bpp, RGBRGB...
AV_PIX_FMT_BGR24, ///< packed RGB 8:8:8, 24bpp, BGRBGR...
AV_PIX_FMT_YUV422P, ///< planar YUV 4:2:2, 16bpp, (1 Cr & Cb sample per 2x1 Y samples)
... //忽略
};
定义2：AVPixFmtDescriptor: 此数据结构定义了图像数据在内存中的组织排列形式
(gdb) ptype av_pix_fmt_descriptors
type = const struct AVPixFmtDescriptor {
const char *name;
uint8_t nb_components;
uint8_t log2_chroma_w;
uint8_t log2_chroma_h;
uint64_t flags;
AVComponentDescriptor comp[4];
const char *alias;
} [198]
这198种像素定义我就不copy了。可参看一下后面“乙部分描述"
下面是其成员的描述：
const char *name : 像素格式名称
uint8_t nb_components: 像素分量数， 取值范围 1 - 4。
例如 AV_PIX_FMT_GRAY8 只有 Y 一个分量，
AV_PIX_FMT_YUV420P 有 Y、U、V 三个分量，
AV_PIX_FMT_NV12 也有 Y、U、V 三个分量，
AV_PIX_FMT_ARGB 有 A、R、G、B 四个分量。
uint8_t log2_chroma_w:水平方向色度子采样因子。
右移的位数. 表示将亮度样本宽度右移多少位能得到色度样本的宽度.
例如对于 yuv420p 格式，若图像分辨率为 1280 x 720，
则亮度样本宽度(水平方向亮度样本数)为 1280，
色度样本宽度(水平方向色度样本数)为 1280/2 = 640，
则 log2_chroma_w 值为 1(右移 1 位)。
uint8_t log2_chroma_h: 垂直方向色度子采样因子。
uint64_t flags: 像素格式标志位组合，
例如如 AV_PIX_FMT_FLAG_BE ｜ AV_PIX_FMT_FLAG_HWACCEL 。
标志 AV_PIX_FMT_FLAG_BE 表示大端格式.
AV_PIX_FMT_FLAG_HWACCEL 表示此像素格式用于硬解或硬编等硬件加速场合。
AVComponentDescriptor comp[4]
这个成员非常重要。数组的每个元素表示一个分量，注意是一个分量而不是一个 plane，一个 plane 可能含有多个分量
定义3：AVComponentDescriptor, AV分量描述符
(gdb) ptype av_pix_fmt_descriptors[0].comp
type = struct AVComponentDescriptor {
int plane;
int step;
int offset;
int shift;
int depth;
int step_minus1; // deprecated
int depth_minus1; // deprecated
int offset_plus1; // deprecated
} [4]
AVComponentDescriptor 定义了每个分量在内存中的实际组织形式，包含所有细节。
包含成员如下，
int plane : 当前分量位于哪个 plane 中。
例如 p010 格式有三个分量：Y、U、V，两个 plane：Y、UV。
Y plane 的形式为YYYY...，UV plane 的形式为UVUVUV...。
Y 分量的 plane 值是 0， U 分量和 V 分量的 plane 值是 1，U 样本和 V 样本交织存放在 plane 1中。
int step : 步长，表示水平方向连续的两个样本间距是多少个字节(或比特)，
如果像素格式是比特流格式(标志 AV_PIX_FMT_FLAG_BITSTREAM 有效)，此值表示比特数，否则此值表示字节数。
例如: p010 格式，Y plane 的形式为YYYY...，UV plane 的形式为UVUVUV...，位深是 10，
考虑对齐后，每一个 Y、每一个 U、每一个 V 都占 2 个字节，
因此 Y 分量的 step 是 2(两个 Y 相距两字节)，
U 分量的 step 是 4(两个 U 相距 4 字节)，
V 分量的 step 也是 4(两个 V 相距 4 字节)。
int offset : 偏移，表示在当前 plane 中，当前分量的第一个样本之前有多少个字节的数据，
如果像素格式是比特流格式(标志 AV_PIX_FMT_FLAG_BITSTREAM 有效)，此值表示比特数，否则此值表示字节数。
例如 p010 格式，每一个 U 或 V 都占 2 个字节，第一个 V 样本前有 2 个字节被 U 样本占了，
所以 U 分量的 offset 值是 0，V 分量的 offset 值是 2。
int shift : 右移位数，表示将对应内存单元的值右移多少位可以得到实际值。
例如 p010 格式，位深是 10，而内存对齐后每一个 Y、U、V 样本占 16 bit，
那么 10 位的数据放在 16 位的内存单元中， 是占据高 10 位还是占据低 10 位，即是由 shift 值决定的。
p010 格式中，各分量的 shift 值都是 6 ，表示数据放在高 10 位。
从 Y plane 中获取第一个 Y 样本的值，示意代码如下：
uint8_t y_plane[1280*2];
uint16_t *p_y0 = (uint16_t *)y_plane;
uint16_t y0 = (*p_y0) >> 6;
int depth: 当前分量每个样本的位宽度，即位深。
上述参数中，
plane 表示分量所在的 plane 的序号，
offset 表示多个分量交织存放在同一个 plane 中时的排列顺序(如 p010 格式的 UV plane 中 U 在前 V 在后)，
step、shift 和 depth 则是和内存对齐相关
后面的3个成员已经不推荐使用了，从略。
----------------------------------------
乙： ffmpeg 中使用的图像pix_fmts
----------------------------------------
$ffmpeg -pix_fmts , 可以查看所有的pix_fmts,
它关键是定义了下面这张表
static const AVPixFmtDescriptor av_pix_fmt_descriptors[AV_PIX_FMT_NB] = {
[AV_PIX_FMT_YUV420P] = {
.name = "yuv420p",
.nb_components = 3, //3个平面YUV
.log2_chroma_w = 1, //色宽小1倍 (>>1)
.log2_chroma_h = 1, //色高小1倍 (>>1)
.comp = {
{ 0, 1, 0, 0, 8, 0, 7, 1 }, /* Y */ 亮深是8bit, 后3项不用了，前4项plane,step,offset,shift
{ 1, 1, 0, 0, 8, 0, 7, 1 }, /* U */ 色深1是8bit
{ 2, 1, 0, 0, 8, 0, 7, 1 }, /* V */ 色深2是8bit
},
.flags = AV_PIX_FMT_FLAG_PLANAR,
},
[AV_PIX_FMT_YUYV422] = {
.name = "yuyv422",
.nb_components = 3, //3个平面YUV
.log2_chroma_w = 1, //色宽小1倍 (>>1)
.log2_chroma_h = 0, //色高正常 (>>0)
.comp = {
{ 0, 2, 0, 0, 8, 1, 7, 1 }, /* Y */
{ 0, 4, 1, 0, 8, 3, 7, 2 }, /* U */
{ 0, 4, 3, 0, 8, 3, 7, 4 }, /* V */
},
},
.....
}
----------------------------------------
丙： ffmpeg 中使用的音频sample_fmt
----------------------------------------
$ffmpeg -sample_fmts 可以查看所定义的所有的音频采样格式。
关键是在samplefmt.c中， 定义了下面这张表
static const SampleFmtInfo sample_fmt_info[AV_SAMPLE_FMT_NB] = {
[AV_SAMPLE_FMT_U8] = { .name = "u8", .bits = 8, .planar = 0, .altform = AV_SAMPLE_FMT_U8P },
[AV_SAMPLE_FMT_S16] = { .name = "s16", .bits = 16, .planar = 0, .altform = AV_SAMPLE_FMT_S16P },
[AV_SAMPLE_FMT_S32] = { .name = "s32", .bits = 32, .planar = 0, .altform = AV_SAMPLE_FMT_S32P },
[AV_SAMPLE_FMT_S64] = { .name = "s64", .bits = 64, .planar = 0, .altform = AV_SAMPLE_FMT_S64P },
[AV_SAMPLE_FMT_FLT] = { .name = "flt", .bits = 32, .planar = 0, .altform = AV_SAMPLE_FMT_FLTP },
[AV_SAMPLE_FMT_DBL] = { .name = "dbl", .bits = 64, .planar = 0, .altform = AV_SAMPLE_FMT_DBLP },
[AV_SAMPLE_FMT_U8P] = { .name = "u8p", .bits = 8, .planar = 1, .altform = AV_SAMPLE_FMT_U8 },
[AV_SAMPLE_FMT_S16P] = { .name = "s16p", .bits = 16, .planar = 1, .altform = AV_SAMPLE_FMT_S16 },
[AV_SAMPLE_FMT_S32P] = { .name = "s32p", .bits = 32, .planar = 1, .altform = AV_SAMPLE_FMT_S32 },
[AV_SAMPLE_FMT_S64P] = { .name = "s64p", .bits = 64, .planar = 1, .altform = AV_SAMPLE_FMT_S64 },
[AV_SAMPLE_FMT_FLTP] = { .name = "fltp", .bits = 32, .planar = 1, .altform = AV_SAMPLE_FMT_FLT },
[AV_SAMPLE_FMT_DBLP] = { .name = "dblp", .bits = 64, .planar = 1, .altform = AV_SAMPLE_FMT_DBL },
};
(gdb) ptype sample_fmt_info
type = const struct SampleFmtInfo {
char name[8];
int bits;
int planar;
enum AVSampleFormat altform;
} [12]