RESIDUAL INTERPOLATION FOR COLOR IMAGE DEMOSAICKING

ABSTRACT

一种广泛应用于彩色图像马赛克的色差插值技术。在本文中，我们提出残差插值作为一种替代颜色差插值，其中残差是一个观察和一个初步估计的像素值之间的差异。我们将所提出的残差插值方法引入到基于梯度的无阈值(GBTF)算法中，该算法是目前最先进的马赛克算法之一。实验结果表明，我们提出的使用残差插值的马赛克算法可以为柯达和IMAX数据集的30幅图像提供最先进的性能。

1. INTRODUCTION

彩色滤光片阵列(CFA)单传感器技术被广泛应用于数码相机行业[1]。在具有CFA的单传感器摄像机中，每个像素只记录RGB值中的一个像素值，其他像素值通过名为demosaicering的摄像机内过程进行插值[2,3]。高性能马赛克算法的开发对于获取高质量的彩色图像至关重要。

最流行和使用最广泛的CFA是拜耳CFA(图1)[4]。对于Bayer CFA的马赛克算法的研究由来已久[2,3]。大多数拜耳马赛克算法首先插值G像素值，因为G像素的采样密度是R和B像素的两倍。然后，在R和B像素点计算色差(R- g或B- g)并进行色差插值。最后，将插值后的G图像添加到插值后的色差图像中，得到R和B图像。之所以使用色差，是因为观察到所有的色带都有非常相似的图像结构，如纹理和边缘[5,6]。从这一观察结果，可以假设色差图像在捕获对象的边界内近似平坦，这使得插值过程很容易。

在本文中，我们提出了一种新的使用残差插值的马赛克算法。我们不是使用色差，而是生成R和B图像的初步估计(ˇR和ˇB)，并计算残差，即观测值和初步估计的R和B像素值之间的差异(R−ˇR和B−ˇB)。我们使用残差而不是色差的动机是，如果我们能够准确地生成初步估计，残差应该比标准色差更平坦，这将导致更好的彩色图像马赛克效果。我们利用最近提出的一种强大的边缘保持滤波器[7]来产生这种精确的初步估计。计算完残差后，我们插值残差而不是颜色差异。我们将残差插值引入到基于梯度的无阈值(GBTF)算法[8]中，这是使用色差插值的最先进的拜耳马赛克算法之一。实验结果表明，我们提出的使用残差插值的马赛克算法可以为柯达和IMAX数据集的30幅图像提供最先进的性能。

2. PROPOSED RESIDUAL INTERPOLATION

我们首先描述了残差插值的基本处理流程。以R像素值的插值为例，我们将本文提出的残差插值与图2中的标准色差插值进行比较。

图2 (a)为标准色差插值R像素值的插值过程。首先，利用插值算法生成G图像。然后，在R个像素点上计算色差(R- g)，并进行色差插值。最后，将G图像添加到插值后的色差图像中，得到插值后的R图像。

图2 (b)为本文提出的残差插值对R像素值的插值过程。首先，采用与色差插值相同的插值算法生成G图像。然后，我们生成R图像的暂定估计值(ˇR)，并计算在R像素处观测值与暂定估计值(R−ˇR)之间的残差。之后，我们插值的是残差而不是颜色差异。通过准确地生成R图像的初步估计，我们可以期望残差变得比色差更平坦，这使得插值过程更容易。最后，对插值后的残差图像加上R图像的初步估计，得到插值后的R图像。

在我们提出的马赛克算法中，我们使用引导滤波器[7]对观测到的R像素值进行上采样，从而产生初步估计。导频滤波器利用导频图像作为参考来挖掘图像结构，可以准确地对输入的稀疏数据进行上采样，其方式类似于联合双侧上采样[9]。对于每个局部patch，引导滤波器的输出由引导图像的线性变换表示，因此，保留了引导图像的图像结构。我们使用插值后的G图像作为引导图像，方式与[10]相同。在本文中，我们将这种上采样过程称为引导上采样。

3. PROPOSED DEMOSAICKING ALGORITHM

我们将残差插值与GBTF算法[8]结合，开发了我们提出的马赛克算法。GBTF算法首先插值G像素值。然后，利用色差插值对R和B像素值进行插值。对于R和B像素值的插值，我们只需将色差插值替换为上一节所述的残差插值。残差插值采用双线性插值。接下来，我们提出了基于GBTF算法的G像素值的插值过程。

GBTF算法对G像素值的插值过程包括三个步骤:(i)在水平和垂直方向上应用Hamilton和Adams插值公式[5]，分别估计R和B像素处的G像素值和G像素处的R或B像素值。从而生成水平方向和垂直方向估计的R、G、B像素值。(ii)计算每个像素的水平和垂直色差(G-R或G-B)。然后，对水平和垂直色差进行平滑处理并合并到最终的色差估计中。(iii)通过将观测到的R或B像素值添加到最终的色差估计中，对R和B像素处的G像素值进行插值。

步骤(i)中的Hamilton和Adams插值公式可以解释为线性色差插值。我们用残差插值代替线性色差插值。为了简化解释，下面我们将重点研究水平方向上G像素处的R像素值的估计。G像素处的B像素值与R像素值的估计方法相同。同样，我们在垂直方向上也用了同样的方法。

水平方向上R像素值的Hamilton和Adams插值公式可以表示为:

其中后缀i,j表示目标像素，是G像素处水平估计的R像素值。这个插值公式可以解释为线性色差插值:

其中为R像素处水平估计的G像素值，计算如下:

在提出的算法中，我们使用初步估计代替这些估计的G像素值。在GBTF的步骤(i)中，对一维图像的每一行和每一列进行插值处理。首先，对G像素值进行线性插值，生成一维导图。然后，对R像素值进行引导上采样，得到一维R图像的初步估计。然后计算残差并进行残差插值。最后，我们通过将初步估计值加入插值的一维残差图像中，在G像素处估计出R像素值。

合成的R像素值可以表示为:

其中为对像素R值的初步估计。在R像素处的G像素值以同样的方式估计，生成一维G图像的初步估计。

在上述步骤(i)之后，应用GBTF算法的步骤(ii)和(iii)。虽然所提出的残差插值也可以纳入步骤(ii)，但由于将残差插值纳入步骤(ii)并不是简单的，我们将在以后的工作中讨论它。

在GBTF算法中，使用了一个简单平均滤波器f =[11111]/5来平滑步骤(ii)中的方向色差。相反，我们引入了一个高斯加权平均滤波器来代替简单平均滤波器来提高性能。我们经验地使用1作为高斯权值的标准差。

4. EXPERIMENTS

利用[3]中使用的两个标准彩色图像数据集，即IMAX数据集和柯达数据集，对算法1进行了评价。IMAX数据集由18张图片组成，图片大小为500×500。这些IMAX图像是从2310×1814网站上原始的高分辨率图像中剪切而来的。柯达数据集由12张图片组成，图片大小为768×512。我们将所提出的算法与5种最新算法进行了比较，分别是:自适应齐次定向(AHD)[11]、定向线性最小均方误差估计(DLMMSE)[12]、基于梯度的无阈值估计(GBTF)[8]、局部多项式逼近(LPA)[13]、局部定向插值和非局部自适应阈值(LDI-NAT)[14]算法。

IMAX 18图像的平均psnr和cpsnr如表1所示。在IMAX数据集上，该算法的平均CPSNR优于目前最先进的算法。柯达12张照片的平均psnr和cpsnr如表2所示。在柯达数据集上，该算法的平均CPSNR低于GBTF、LPA和DLMMSE算法。值得注意的是，有些算法只适用于一个数据集，而不适用于另一个数据集。例如，LDI-NAT算法只适用于IMAX数据集，相反，GBTF算法只适用于柯达数据集。然后，我们对整个IMAX和柯达数据集的平均psnr和cpsnr进行评估，如表3所示。在总平均psnr和CPSNR方面，该算法优于目前所有的先进算法。图3和图4分别为IMAX数据集中的星星区域和Kodak数据集中的灯塔围栏区域的视觉比较。从这些视觉上的比较，我们可以发现所提出的算法可以在没有彩色伪影的情况下对IMAX和柯达数据集的图像进行快速插值。

5. CONCLUSION

本文提出了一种用于彩色图像马赛克的残差插值方法。提出的残差插值可以作为广泛使用的颜色不同插值的替代。我们还提出了一种新的马赛克算法，将残差插值与GBTF算法相结合，这是目前最先进的马赛克算法之一。实验结果表明，我们提出的使用残差插值的马赛克算法可以为柯达和IMAX数据集的30幅图像提供最先进的性能。我们提出的算法的源代码可以从http://www.ok.ctrl.titech.ac.jp/res/DM/RI.html下载。