作者提出了一种增强背光图像的方法,即主要光源位于摄影对象后面的图像。这些图像同时包含非常暗和非常亮的区域。在这种情况下,单一的色调映射函数无法增强整个图像。他们建议使用几种这样的色调映射,其中一些增强暗区,而另一些增强亮区,然后使用图像融合算法组合所有这些结果。定性和定量结果证实了所提出方法的有效性。
背光图像,如图 1 左图所示,同时包含非常暗和非常亮的区域。全局增强技术无法增强整个图像,因为暗区的改善会导致亮区过饱和,而亮区的改善会降低暗区的可见度。局部技术适应每个像素空间邻域的增强并获得更好的结果。然而,它们往往会产生光晕或过度增强噪声和图像伪影,并且通常它们不能同时增加黑暗和明亮图像区域的可见度。
最近的工作 [1-3],专门解决背光图像增强的问题,提出通过使用融合技术组合图像的不同增强版本。与使用全局或局部方法获得的结果相比,这种方法可以获得更好的结果。在本文中,我们遵循类似的策略,但我们引入了一系列改进,以获得更亮的图像和更好的对比度结果。所提出的方法相对于先前技术的主要贡献是:使用更广泛的部分增强图像集,避免需要固定或学习的阈值来区分暗图像区域和亮图像区域;一种改进的融合方法,其中使用局部方差测量来评估图像的对比度;在融合过程之后使用锐化步骤,而不是将锐化的图像包括在融合过程中;一种处理颜色信息的新方法,提高了最终结果的对比度。定性和定量结果证实了所提出的方法相对于先前基于融合的技术的优越性能。
本文组织如下。在第 2 节中,我们回顾了有关图像增强技术的文献;第 3 节描述了建议的方法;在第 4 节中展示了几个实验,讨论了所提出方法的替代实现,并与现有文献进行了定性和定量比较。我们的研究结论见第 5 节。
多年来,图像颜色增强的问题在文献中得到了广泛的处理。最流行的技术可以分为 Retinex 启发方法和色调映射方法。
Retinex 启发的方法起源于 Retinex 土地理论 [4, 5],该理论试图解释人类视觉感知对局部光照条件的适应性。存在不同的,有时是相反的 Retinex 实现。在所有情况下,目标都是恢复场景的反射率,不考虑照明的影响。所谓的中心/环绕方法,包括流行的多尺度 Retinex (MSR) 算法 [6, 7],通过在输入图像中减去其自身的模糊版本来计算反射率。虽然通常不被归类为 Retinex 方法,但自动色彩增强 (ACE) [8, 9] 也可以被视为中心/环绕技术。通过这种中心/环绕方法获得的结果通常被过度增强并且色彩柔和。
通常,文献中使用术语“色调映射”来指代那些将高动态范围 (HDR) 图像的颜色映射到更有限的动态范围的技术,从而获得所谓的低动态范围 (LDR) 图像.然而,为 HDR 图像开发的许多技术可以应用于将 LDR 图像映射到具有改进的亮度和对比度的新 LDR 图像,因此,在本文中,我们对术语“色调映射”给出了更一般的含义,我们使用它还包括暗示仅在原始输入范围内重新分配像素值的方法。从这个意义上说,经典直方图均衡及其变体 [10] 和其他基本处理方法(伽马校正、最简单的色彩平衡 [11] 等)应被视为我们论文中的色调映射技术。
当相同的色调映射函数应用于整个图像时,这些技术可以是全局的,也可以是局部的,其中映射取决于每个像素的局部邻域。一些流行的全局技术是: Drago et al.方法[12],它使用适应场景亮度特征的对数色调映射; Reinhard 和 Devlin [13],它使用 Naka-Rushton 方程的变体来模拟光感受器对刺激的反应;在 [14] 麦等人中使用色调曲线,最大限度地减少色调映射和压缩的组合过程产生的失真。局部技术的例子有 CLAHE(对比度受限的自适应直方图均衡 [15])、MLHE(形态局部直方图均衡 [16、17])、LCC(局部颜色校正 [18、19])和最近引入的 LogLocal 方法 [20] ]。 CLAHE 和 MLHE 分别将直方图均衡方法应用于图像子窗口或像素的连接区域; LCC 和 LogLocal 分别使用适合每个像素的局部邻域的伽马校正和对数映射。
一些色调映射方法特别专注于恢复图像细节。这是通过以不同的分辨率尺度分解图像来实现的,较粗的保留全局照明信息,而较精细的则保留细节。前者被削弱,后者被放大。这些技术的例子是 Durand 和 Dorsey [21] 以及 Fattal 等人[22] 方法。
最近,有几项工作专门针对背光图像增强问题[1-3]。它们都遵循类似的方法:使用融合技术组合原始图像的不同增强版本。在 [1] 中,该方法应用于图像的 HSV 颜色表示的 V 分量。生成了三个版本的组件(更亮的版本、更暗的版本和锐化的版本)并使用 Mertens 算法 [23] 进行融合。用于获得图像更暗和更亮版本的色调映射函数的参数是根据经验调整的。在[2]中,原始图像被分解为光照和反射。然后对照明分量进行类似于 [1] 中的处理,但使用 Mertens 算法的变体进行融合,其中包括色彩对比度项。将原始反射率附加到处理后的照明组件后获得最终结果。 Li 和 Wu [3] 使用一种学习技术将背光图像分割成前光(亮)和背光(暗)区域。将不同的色调映射函数应用于每个区域,适应其特征,并将结果合并产生最终输出(对两个区域边界附近的像素使用线性插值函数以防止伪影)。正如作者自己承认的那样,最终结果的质量在很大程度上取决于分割的准确性,而分割的准确性又取决于图像内容。
简而言之,所提出的方法独立处理输入图像的每个通道如下:首先,应用几个色调映射函数;接下来,使用图像融合技术组合结果;然后,使用锐化算法来提高融合结果的对比度。最后,由于颜色通道的独立处理导致相对于原始图像的色度发生变化,因此应用色度校正步骤来恢复原始颜色。图 2 显示了总结该方法的框图。图 1-right 显示了一个应用示例。
我们的方法与 [1, 2] 有相似之处,但我们提出了一些重要的创新,克服了这些方法的一些限制,即:
在 [1] 中,伽马校正映射用于提高明亮区域的可见度,而对数映射用于改善暗区域。在[2]中,对原始图像应用反正切函数以全局增加或减少其亮度。在所有这些情况下,这些函数的参数都是启发式固定的,没有讨论它们的值变化对最终结果的影响。我们更喜欢使用一组应用于每个颜色分量的全局色调映射(参见第 3.1 节)。其中一些功能专注于改善(即增亮)图像的黑暗区域,而其他功能则旨在改善(即变暗)明亮区域。我们的方法允许更大的灵活性,依靠融合算法来组合每个色调映射的最佳结果。
作为提高最终结果对比度的一种方法,[1, 2] 的作者建议在融合过程中包含原始图像的锐化版本,使用 [1] 中的 GUM 算法 [24] 和 CLAHE 计算[15] 在 [2] 中。但是,融合会削弱锐化效果。在当前工作中应用的一个更好的策略是锐化融合算法的输出(第 3.3 节)。我们将在实验部分(图 3)中看到,我们的结果比 [1, 2] 的结果更清晰。
原始图像的多个版本的组合在 [1, 2] 中使用 Mertens 等人的变体进行。用于曝光融合的算法 [23](参见第 3.2 节)。在 [1] 中,融合结果中每个图像的贡献由一个因子加权,该因子取决于每个像素的强度值与动态范围中心的接近程度。接近这个范围的限制(并且可能属于图像的过暗或过亮区域)的值会受到惩罚。傅等人。 [2] 添加第二个权重因子,根据作者的说法,它测量每个像素的对比度。目标是为对比度更高的像素赋予更高的权重,从而提高融合结果的对比度。然而,他们使用 [25] 中介绍的色彩过滤公式进行此类测量,该公式确实测量了每个像素的颜色显着性,但没有测量其对比度。事实上,我们的实验表明,Fu 等人获得的对比度增强。 [2] 低于 Wang 等人获得的结果。 [1](见表 1)。 Mertens 的原始融合算法已经在加权因子中包含了一个对比度项,基于图像强度的拉普拉斯算子。我们采用了这个想法,但通过基于图像局部方差的对比度测量来替换拉普拉斯滤波器(过于局部且对噪声敏感)。
我们提出了一种处理彩色图像的新方法(第 3.4 节)。通常,这些图像通过处理它们的亮度分量并添加回原始色度来增强。这保证了原始颜色的保存,这些颜色将通过每个通道的独立处理进行修改。然而,我们在本文中表明,在独立处理颜色通道后应用色度校正步骤会产生更好的对比度结果。
所提出方法的第一步包括生成原始图像的多个版本,其中一些在暗区表现出对比度改进,而另一些则在亮区表现出对比度提高。原则上,第 1 节中报告的任何全局或局部对比度增强技术都可以用于生成这组图像。然而,为了简单起见,我们决定只使用两种类型的全局色调映射函数,即伽马函数和对数函数。它们中的每一个都在文献中广泛使用,都依赖于单个参数,并且它们具有一些使其适合我们的目的的特性。
具体来说,以下色调映射函数用于将每个颜色通道的原始值映射为范围 [0, 255] 中的新值
其中,I 模糊地指代任何原始的 R、G 或 B 值。
等式(1)对应于不同的伽马函数。这些函数具有增加暗区亮度或降低亮区亮度的特性,具体取决于它们的参数值。当 γ < 1 时,函数是凹函数,从而在暗区实现对比度提高(以降低亮区对比度为代价);当 γ > 1 时,函数是凸函数,行为相反(见图 4)。因此,通过单个参数的变化,我们可以生成我们的方法所需的一组输入图像。我们选择了一小组值 γ ∈ {0.4, 0.6, 0.8, 1, 2, 3},它们涵盖了所需转换的全部范围,包括恒等函数(对应于 γ = 1),这意味着原始输入图像属于用于合并的图像集。我们不考虑小于 0.4(分别大于 3)的 γ 值,因为它们会产生过亮(或暗)的图像(见图 5)。
等式(2)对应于不同的对数函数(注意,色调映射的输出不依赖于对数函数的基数,因为归一化因子 log(255α + 1))。这些函数之所以被包括在内,是因为它们在低强度值下的斜率很陡,与伽马函数提供的相比,它允许更大地增加暗区的亮度(见图 4 和图 5)。选择函数的参数集以涵盖允许增强暗区但不会创建过亮图像的变换范围(因此不使用大于 0.5 的 α 值)。此外,不考虑小于 0.1 的 α 值,因为色调映射的结果与使用 gamma 函数获得的结果相似。
对于每个颜色通道,应用 (1) 和 (2) 获得的色调映射结果使用基于 Mertens 等人的新图像融合算法进行组合。 [23]。 [23] 中的算法旨在合并以不同曝光时间捕获的同一场景的多张图片。 Mertens 算法为每个输入图像计算一系列质量指标、对比度、饱和度和曝光度。
每个像素的每个图像的权重取决于它的值、它的颜色饱和度和它的对比度。目标是优先考虑更接近动态范围中心的值(即 127.5),这些值应该对应于既不太暗也不太亮的区域。此外,更多对比区域优于均匀区域,因为要保留边缘和纹理。每个像素 x 处的融合结果可以计算为每个图像在 x 处的值的加权平均值
然而,由于权重函数的剧烈空间波动,特别是在边缘附近,(3) 的幼稚应用导致了不令人满意的结果。因此,Mertens 等人。提出了一种基于图像金字塔的多分辨率混合策略。他们为每个输入图像构建一个拉普拉斯金字塔,为每个权重图构建一个高斯金字塔,并且在金字塔的每个级别 l 上,融合图像的拉普拉斯算子计算为
在本文中,我们提出了上述融合算法的两个修改:首先,由于融合方法应用于单通道图像,因此跳过了饱和项;其次,将基于拉普拉斯滤波器的对比度度量替换为基于每个像素周围的局部方差的度量。该局部方差被计算为以像素为中心的大小为 7 × 7 的补丁中灰度级的方差。与使用拉普拉斯滤波器相比,使用邻域可以获得更平滑的对比度项,并且对噪声不太敏感。
建议的权重函数是
I' 的对比度(即给定颜色通道的融合结果)通过使用锐化技术全局增强。
经典的去锐化算法可以描述为
作为前面步骤的结果,我们可能会得到一个颜色与原始图像不同的增强图像,如图 7 所示。这是由于每个颜色通道的独立处理。为了恢复原始色度,我们应用以下程序。
我们用 v = (R, G, B) 表示处理后图像中一个像素对应的颜色向量,用 vo = (Ro, Go, Bo) 表示原始图像中同一像素的颜色向量。校正后的颜色向量 vc 是通过将新向量投影到原始向量的方向上得到的
请注意,通过使用此变换,原始 R/G/B 比率得以保留,因此在这个意义上保留了输入图像的原始色度。
图 7 说明了使用这种技术如何在保持照明增强的同时恢复原始颜色。
请注意,这种处理彩色图像的方式不同于将亮度与色度信息解耦(使用 HSV、HSI、YCbCr 或其他方便的颜色空间)、然后处理亮度并最后添加回色度分量的标准过程。在第 4.2.2 节中,我们在定性和定量上证明了我们的决定。
在本节中,我们展示了将所提出的方法应用于背光图像的几个结果。为了便于对获得的结果进行定量评估,我们在第 4.1 节中提出了一种新的测量原始图像和处理后图像之间局部对比度改进的方法。在第 4.2 节中,我们证明了在提议的方法中采用的设计决策,将提议的实现的结果与其他可能的实现获得的结果进行比较。在第 4.3 节中,我们将该方法与文献中的其他技术进行了比较。感兴趣的读者可以使用 http://ipolcore.ipol.im/demo/clientApp/demo.html?id=77777000027 上的在线演示来测试所提出的方法。此外,本节中显示的数字可以在以下网页中可视化:http://researchtami.uib.es/backlit/supplementary/。此页面的显示格式可以轻松比较不同方法的结果。
评估图像对比度的常用方法是计算其强度值直方图的熵。然而,正如我们将在本节中展示的那样,熵测量并不总是能够解释对比度的实际增加。出于这个原因,我们将提出一种新的测量方法,即在对给定图像应用对比度增强技术后获得的局部对比度变化。
我们将使用此度量来比较不同处理的性能。让我们回顾一下强度值直方图的熵的定义
图 8 说明了熵测量在评估图像之间对比度差异时的局限性。图中的前两个图像是使用不同量化因子获得的相同原始图像的两个实例。它们具有非常相似的对比度,但它们的熵却截然不同(分别为 4.42 和 4.11)。另一方面,第三个是在对第二个应用线性色调映射后获得的,从而产生对比度更高的图像。然而,两个图像具有相同的熵 4.11。
第一张和第二张图像之间存在差异的原因是,尽管图像看起来相似,但量化操作会修改强度值的分布,从而导致 (8) 中的 pi 因子不同,从而导致熵值完全不同。在第二张和第三张图像的情况下,线性色调映射(以及通常的任何单调色调映射)将原始强度级别重新映射到新级别,但保留它们之间的顺序(如果像素比原始像素中的另一个更亮)图像它在处理后的图像中也会保持更亮)。这意味着 pi 因子被重新分配给新的强度值,但它们的大小保持不变。因此,熵度量保持不变(由于舍入或饱和导致的数值误差)。
我们提出了以下措施,它忠实地测量了处理产生的对比度变化
其中 Vark 表示大小为 s × s 的补丁中强度值的方差(通常我们使用 s = 16)。这个方差是在原始图像和处理后的图像上,在图像域中包含的所有 s × s 块上计算的。 N 表示每个图像中使用的补丁数量。建议的度量只是这些方差在所有补丁上的平均比率。大于 1 的值表示对比度提高,而等于或小于 1 的值表示处理后的图像具有与原始图像相似或较差的对比度。通过将此测量应用于图 8 中的图像,我们获得了第一张和第二张图像之间的 C = 1.05(表明对比度差异非常小)和第二张和第三张图像之间的 C = 1.32(表明对比度显着增加) )。这些结果与我们的看法一致。
本节分析了第 3 节中描述的方法的配置和实现,并在图 2 中进行了总结。我们通过定性和定量结果表明,所提出的选择优于其他可能的方法配置。
我们分析了所提出方法的不同方面:
• 该方法在彩色图像中的应用。我们比较了两种不同的策略:将融合步骤直接应用于彩色图像,而不将通道解耦(第 4.2.1 节);在应用亮度-色度去相关变换(第 4.2.2 节)之后,将该方法仅应用于亮度通道。
• 融合方法的对比项的选择(第 4.2.3 节)。
• 锐化后处理步骤(第 4.2.4 节)。
• 方法的参数(第 4.2.5 节)。
• 使用替代融合算法(第 4.2.6 节)。
4.2.1 Fusion of colour images:
图 9 显示了所提出方法的变体,其中将不同的色调映射 (1) 和 (2) 应用于原始彩色图像(逐个通道),然后使用 Mertens 的曝光融合算法合并获得的结果(如所述在 [23] 中)。请注意,这与我们在第 3 节中实际提出的不同,其中色调映射和融合步骤是逐个通道应用的,即在单色图像上(见图 2)。
图 10 显示了两种方法结果之间差异的一个示例。在这种情况下,我们观察到使用所提出的方法的对比度更好,即使使用替代方法图像稍微亮一些。相对于原始的对比度增强(用 (9) 测量)对于替代方法是 C = 4.84,对于建议的方法是 C = 5.20。我们计算了一组 50 张图像的平均对比度增强,在融合色调映射彩色图像时获得 C = 10.39,在融合单色图像时获得 C = 14.85。这些结果支持所选方法的有效性。
4.2.2 Processing of intensity channel:
众所周知,独立处理彩色图像的通道会导致(通常不希望出现的)其色度变化。出于这个原因,许多对比度增强方法仅应用于图像的亮度分量(例如,使用 HSV 颜色空间时的 V,如 [1] 中的;或使用 HSI 时的 I),并将原始色度分量添加回处理亮度以获得最终的彩色图像。
我们将在本节中展示,当在每个通道上独立应用对比度增强并且之后恢复原始色度时,图像对比度会进一步提高。
让我们从一个玩具示例(图 11)开始,其中将处理彩色图像的 V 分量并添加回其原始 H 和 S 分量的结果(如图 12 的框图中所述)与结果进行比较如第 3.4 节所述,独立处理每个通道,然后恢复原始色度。我们可以清楚地看到,在第二种情况下,图像对比度更高,颜色更鲜艳。原因是两个色带的 V 值相同,因此第一种方法对两个区域的处理方式相同。通过独立处理每个通道,我们获得了更好的对比结果。
对于任何自然图像也是如此,例如图 13 中显示的图像。当使用所提出的技术时,我们再次观察到更好的对比度和更鲜艳的色彩。为了定量测量对比度的提高,我们计算了一组 50 张图像的平均对比度增强 C(9),在处理 V 通道时得到 C = 6.96,在处理每个通道时得到 C = 14.85,这证实了建议的程序。
4.2.3 Contrast measurement in fusion method:
图 14 显示了我们的方法在图像融合算法中使用基于拉普拉斯算子(最初由 Mertens 等人 [23] 提出)和本文提出的基于局部方差的对比度度量时的结果.我们观察到第二种情况下的对比度更好,这可以通过对比度测量 C (9) 得到证实:第一种情况下 C = 1.94;在第二种情况下,C = 2.12。
我们计算了一组 50 张图像的平均对比度增强 C,当使用拉普拉斯测量时得到 C = 14.55,使用局部方差时得到 C = 14.85。
4.2.4 Analysis of the sharpening post-processing:
图 6 比较了我们的方法在没有(中心图像)和(右图)融合算法后应用锐化步骤的结果。在后一种情况下,图像看起来更清晰。在作为本文补充材料创建的网页中可以更好地理解这种差异。
一般来说,使用锐化步骤可以获得更多对比的结果。在一组 50 张图像中,平均对比度(用 (9) 计算)为 C = 11.34,没有锐化,C = 14.85。
4.2.5 Parameters of the method:
所提出的方法依赖于几个参数,这些参数已经在前几节和第 4.3 节中显示的所有实验中一劳永逸地固定。在这里,我们总结它们并讨论它们的变化如何影响获得的结果。这些参数是:
4.2.6 Alternative fusion techniques:
选择第 3.2 节中描述的融合方法是因为它的简单性,并且因为它允许将图像的局部对比度考虑到融合过程中(通过(5))。在第 4.2.3 节中,我们对我们的结果与使用 Mertens 的原始融合算法 [23] 获得的结果进行了比较,但近年来文献中提出了其他几种融合技术。我们已经将我们的结果与通过用 [29, 30] 中提出的方法替换所提出的融合方法获得的结果进行了比较。一般来说,我们观察到我们的方法可以更好地增强对比度。此外,[29] 中的方法往往会产生光晕伪影。获得结果的一个例子如图 18 所示。与其他融合技术的综合比较超出了当前论文的范围,应成为未来研究的主题。
我们将所提出方法的结果与许多流行的对比度增强技术获得的结果进行了比较:CLAHE [15]、MLHE [16、17]、MSR [6]、ACE [8]、LCC [18]、LogLocal [20 ],德拉戈等人。 [12],以及 Wang 等人最近的两种基于融合的技术。 [1] 和傅等人。 [2]。无花果。
图 19 和 20 显示了一些获得的结果。一般来说,MSR 会产生色彩柔和的过度饱和图像,MLHE 和 CLAHE 会过度增强噪声和压缩伪影(见图 21),而 Drago 等人的方法无法同时增强暗区和亮区。使用 ACE、LCC 和 LogLocal 获得的结果总体上很好,尽管 ACE 和 LCC 产生的图像比我们的方法更暗,并且 LogLocal 存在光晕伪影(见图 22)。
使用基于图像融合技术的方法([1, 2] 和我们的建议)可以获得最佳结果。在图 3 中,我们比较了用三种方法获得的结果的一些细节。我们观察到,使用所提出的方法获得了最高的对比度改进,尽管我们的结果在包含对比度良好的对象的明亮图像区域中可能略微过饱和。例如,参见图 19(机场图像)和图 20(虹膜图像)中的云。
为了定量评估所提出技术的性能,我们针对不同的增强方法计算了一组 50 张图像的对比度(用 (9) 测量)和 NIQE 盲图像质量评估指数 [31]。 NIQE 测量在自然图像中观察到的统计规律的偏差,该指数的较低值表示较高质量的图像。结果如表 1 所示。
通过所提出的方法获得的对比度增强高于使用大多数其他比较技术实现的对比度增强。只有 MSR 和 MLHE 获得更好的结果。然而,如上所述,这些方法要么产生过度饱和的图像(MSR),要么增强过度的噪声和图像伪影(MLHE)。我们的方法增强了对比度,但保留了结果的视觉质量,正如 NIQE 测量所证实的那样,所提出的技术获得了最好的分数。必须指出的是,前面图中显示的定性结果并不总是与获得的 NIQE 值一致。例如,CLAHE 获得了第三好的指数值,但从视觉上看,结果并不总是很好(如图 21 所示)。类似的评论适用于 MSR。另一方面,LogLocal 产生了高质量的结果,但对比度低于所提出的方法。类似的评论适用于 Fu 等人方法。
我们以所提出的方法适用于多曝光图像的示例结束本节。事实上,虽然我们的方法被设计用于处理模拟的多重曝光图像,通过几个色调映射从原始输入获得,但可以在真实的多重曝光图像上应用融合和锐化步骤。然而,必须指出的是,这些步骤的参数并没有针对这种输入进行优化。此外,由于没有单个输入图像,因此不清楚哪一个输入应用作色度校正步骤的参考。在图 23 中,我们将我们的结果与使用两种最先进的方法获得的结果进行了比较,这些方法是专门为此类问题设计的 [29, 32]。对于这个例子,我们逐个通道应用了第 3.2 节和第 3.3 节中描述的融合和锐化技术,但跳过了色度校正步骤。我们观察到获得的图像的对比度很好,但颜色的饱和度低于其他结果。
我们提出了一种新的图像增强技术,能够同时处理图像的暗区和亮区。该技术基于融合应用于原始颜色通道的多个色调映射的结果。与使用图像融合技术的其他增强方法相反,我们不只融合原始图像的两个版本,一个改善暗区,另一个改善亮区。取而代之的是,我们使用了整个色调映射系列,并调整了融合方法的参数,从而增加了最终结果中的局部亮度方差,从而保证了对比度的提高。此外,我们提出了一种处理颜色信息的新方法,进一步提高了最终结果的对比度。实验结果表明,一般而言,使用该方法获得的图像比使用其他技术获得的图像更亮、对比度更高。