YUV和RGB的相互转换实验

1、彩色空间转换基本原理

1）彩色空间转换公式：

为了实现格式转换，我们首先要明确待转换格式和目标格式的特点和相互转换关系，这是编程实现转换的核心。对于RGB转YUV的过程，我们要首先拿到RGB文件的数据，再通过上图的YUV计算公式对其做运算，得到YUV数据，从而实现转换。而对于YUV转RGB则要首先获得YUV数据，用第二组RGB公式计算得到RGB数据。 在本实验中，转换公式如下。

Y = 0.298R + 0.612G + 0.117B;
 
U = -0.168R - 0.330G + 0.498B + 128;
 
V = 0.449R - 0.435G - 0.083B + 128;
 
R = Y + 1.4075( V - 128);
 
G = Y - 0.3455( U - 128) - 0.7169( V - 128);
 
B = Y + 1.779( U - 128);

       其中，计算UV分量时+128是因为UV分量有负值，加上128刚好可以将变化范围调整为0—255。所以在做YUV转RGB时，要特别注意，给UV分量减去128才能代入去乘转换系数。

2）了解两种格式的存储方式：

       RGB存储方式：RGB三个分量按照B、G、R的顺序储存。(4：4：4)

YUV存储方式：先存Y再存UV分量。(4：2：0)

3）初始化参数。

指向输入、输出文件的指针：FILE * rgbfile，FILE * yuvfile；

文件的相关信息：宽framewidth, 高frameheight；

指向所开辟空间的指针：unsigned char型，yuv_Buf，rgb_Buf；

注：根据YUV和RGB存储方式的特点，申请空间时RGB和YUV采用不同的方法。存储RGB只开一块完整的空间，用一个buffer；而YUV三个分量各自分开储存，尽管在内存中也是一维的数据流，但是为了方便计算和指针操作，三个分量分别用三个buffer，开三块空间存储。

本文福利， C++音视频学习资料包、技术视频，内容包括（音视频开发，面试题，FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）↓↓↓↓↓↓见下面↓↓文章底部点击领取↓↓

2、实验流程分析

RGB2YUV：首先，主函数中，打开待转换的RGB文件fopen，读出其中的数据，即将数据写到rgb_Buf空间中；其次，进入转换函数，对rgb_Buf空间的数据进行计算处理（y_buffer指向yuv_Buf,u_buffer & v_buffer各自开辟空间），y的计算结果写入y_buffer(yuv_Buf)，UV分量计算结果存在u_buffer和v_buffer；然后，将UVbuffer中的UV分量进行下采样（YUV4：2：0），将结果存入目标空间sub_u_buf,sub_v_buf(出口：u_out,v_out)，释放掉转换函数中开辟的空间；最后，回到主函数，将结果写出到目标文件中去fwrite，释放掉所开空间。

YUV2RGB：首先，主函数中，打开YUV文件，读出其中的数据，将数据写到yuv_Buf中；其次，对yuv_Buf的数据进行上采样，即，Y不动，将UV分量补全存入up_yuv_buf所开空间（将一个像素点的uv值赋给对应点及右、下、右下点）；最后，对yuv_Buf,up_yuv_buf中的YUV数据进行计算，还原出RGB数据，存入rgb_Buf，释放掉转换函数中开辟的空间；最后，将结果输出到目标文件，释放掉所开空间。

检验：第一步，将RGB素材转换得到YUV1，用yuv播放器看是否正确；第二步，再将得到的YUV1转回RGB格式，并再次将RGB转YUV2，若YUV2和此前得到的YUV1完全一致，则YUV2RGB转换无误；否则，应就问题再做修改和调试。

3、关键代码及其分析

1）YUV2RGB过程UV上采样部分

在转换函数中开辟一块空间up_yuv_buf，空间大小为2*size刚好存放UV分量。psu1、psu2指针指向空间中存U分量部分的奇偶两行，pu指向原空间中U分量所在位置。psv指针同u。一次循环中，利用指针对UV分量各自的奇偶两行同时赋值，随后各自加1，再次赋值，实现四个像素点取同样的值，即，上采样。

for (i = 0; i < y_dim / 2; i++)
	{
		psu1 = up_yuv_buf + 2 * i * x_dim;  //U偶数行指针
		psu2 = up_yuv_buf + (2 * i + 1) * x_dim;  //U奇数行指针
		psv1 = up_yuv_buf + size + 2 * i * x_dim;   //V偶数行指针
		psv2 = up_yuv_buf + size + (2 * i + 1) * x_dim;  //V奇数行指针
		pu = u_buf + i * x_dim / 2;
		pv = v_buf + i * x_dim / 2;
		for (j = 0; j < x_dim / 2; j++)
		{
			*psu1 = *pu; *psu2 = *pu;     //奇数偶数行第一次像素点赋值，UV同时
			*psv1 = *pv; *psv2 = *pv;     
			psu1++; psu2++;
			psv1++; psv2++;
			*psu1 = *pu; *psu2 = *pu;     //奇数偶数行第二次像素点赋值，UV同时
			*psv1 = *pv; *psv2 = *pv;
			psu1++; psu2++;
			psv1++; psv2++;
			pu++; pv++;
		}
	}

1）YUV2RGB过程计算RGB部分
   防溢出：此处定义了三个float变量：tmpr，tmpg，tmpb分别暂存计算得到的float型rgb数值，然后判断，如果数值大于225，令其等于225；如果小于0，令其等于0。随后再将变量赋给r/g/b指针指向的位置。这一步非常重要，float型16位，unsigned char型8位，计算得到的数值在强制类型转换时很可能溢出，导致的结果是图像上明显可见数值溢出的点，小于0的是红色点，大于255的是蓝色点。

for (i = 0; i < y_dim; i++)
{
	for(j=0;j<x_dim;j++)
	{
		g = b + 1;
		r = b + 2;
		tmpr=*y + RGBYUV1402[*v];
		tmpg=*y - RGBYUV0344[*u] - RGBYUV0714[*v];
		tmpb=*y + RGBYUV1772[*u];
		//To prevent overflow
		tmpr=tmpr>255?255:(tmpr<0?0:tmpr);
		tmpg=tmpg>255?255:(tmpg<0?0:tmpg);
		tmpb=tmpb>255?255:(tmpb<0?0:tmpb);
		*r=(unsigned char)tmpr;
		*g=(unsigned char)tmpg;
		*b=(unsigned char)tmpb;
		y ++;
		u ++;
		v ++;
		b += 3;
	}
}

4、实验结果及分析

（为了方便查找错误，找到一个既能播放RGB也能播放YUV的播放器，分享：http://wwww.236.6122.net/uploadFile/2013/vooya.rar）

结果1：YUV文件为灰色，无图像。像素点YUV（204，127，127）

         原因：在函数内，给rgb_buffer又开了一次空间。rgb_buffer本身已经指向出口rgb_out，已经指向了主函数中为目标开的空间rgb_Buf，所以在函数内没必要再开空间，加一条开空间的代码反而会导致计算得到的数值都给了后开的空间，从而无法写入真正的目标空间。由于目标空间是空的，写入文件时RGB的值都是默认值，转换回YUV后就是初始值（204，127，127）。

rgb_buffer = (unsigned char *)rgb_out;
	
//rgb_buffer = (unsigned char *)malloc(3 * size * sizeof(unsigned char));//已经指向函数出口，即一段空间，这里不用再开空间，反而造成无法将数据写出到指定空间
up_yuv_buf = (unsigned char *)malloc(2 * size * sizeof(unsigned char));

结果2：YUV文件为灰色，有模糊图像。以及修复后为紫色，检查rgb文件也为紫色，有模糊图像。

原因：当时在上采样时，给up_yuv_buf开了存放YUV三个分量的空间，并且将Y进行了搬移，搬移过程中指针的初始定位语句放在了循环内，导致每一行都是第一行的Y分量数值，所以只有第一行是正常的结果。将播放器放大两倍发现第一行是正确的，所以确定是指针的问题，检查代码果然是搬移时出错，修改后可以得到图像。而图像呈紫色是因为如下所示代码中，i没有减去128，而是在上面数组调用时写作： RGBYUV1402[*v-128];

本文福利， C++音视频学习资料包、技术视频，内容包括（音视频开发，面试题，FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）↓↓↓↓↓↓见下面↓↓文章底部点击领取↓↓

注：这个数组的定义只从0-155，先减掉128必然会有数值小于0的问题出现，导致图像出错。正确做法应该在下面的函数中减去128。

void InitLookupTable()
{
	int i;
 
	for (i = 0; i < 256; i++) RGBYUV1402[i] = (float)(1.402 * (i-128));
	for (i = 0; i < 256; i++) RGBYUV0344[i] = (float)(0.34414 * (i-128));
	for (i = 0; i < 256; i++) RGBYUV0714[i] = (float)(0.71414 * (i-128));
	for (i = 0; i < 256; i++) RGBYUV1772[i] = (float)(1.772 * (i-128));
	
}

结果三：rgb文件上有蓝色红色点，yuv文件上相反。

原因：上文提到的没有对计算得到的RGB数值进行判断，导致强制类型转换成unsigned char之后数据溢出了，从而导致图像上某些点变成红色和蓝色。

for (i = 0; i < y_dim; i++)
	{
		for(j=0;j255?255:(tmpr<0?0:tmpr);
			tmpg=tmpg>255?255:(tmpg<0?0:tmpg);
			tmpb=tmpb>255?255:(tmpb<0?0:tmpb);
			*r=(unsigned char)tmpr;
			*g=(unsigned char)tmpg;
			*b=(unsigned char)tmpb;
			y ++;
			u ++;
			v ++;
			b += 3;
		}
	}

结果四：

       另外附上三个其他yuv文件的转换结果：我们可以发现，YUV转RGB的过程中，颜色发生了十分明显的改变，蓝色系会偏红，红色系会偏蓝。这种变化在最后一幅图的红色袖子上体现的相当明显。

 

 本文福利， C++音视频学习资料包、技术视频，内容包括（音视频开发，面试题，FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）↓↓↓↓↓↓见下面↓↓文章底部点击领取↓↓