基于视觉的自动驾驶和其他驾驶辅助系统在雾霾、降雨和灰尘等恶劣天气条件下可能会出现能见度低的问题。与人类视觉系统相比,驾驶辅助系统所需的车道、车辆和行人检测等相关技术更容易出现能见度问题。由于可能不要求完美的天气条件,因此提出了许多在各种极端天气条件下提高能见度的具体技术。其中,去除雾霾得到了广泛的研究,由于雾霾天气越来越频繁,提出了许多单图像去雾算法(DHAs)[6][16]。在实际的图像采集系统中,特别是在户外应用系统中,DHAs可用于提高图像的可视性和恢复图像细节。
在雾霾天气中捕捉到的图像可以用以下模型[17]描述,这是许多图像去雾研究的基础:
其中I为捕获的雾霾图像,J为真实场景图像,A为全球大气的光,t(i,j)=exp(−βd(i,j))为介质透射,β为大气散射系数,d表示场景深度,i,j为像素指标。第一项J(i,j)e−βd(i,j)是衰减,它描述了场景辐射及其在大气中的衰减;而第二项A(1−e−βd(i,j))是空气,它描述了环境照明。去雾化的目的是从I中估计J、t和A。
除了dha本身,对dha的评价也很重要。当提出DHA时,需要对其进行评估并与最先进的技术进行比较,或者在应用DHA时,需要选择最佳的算法。此外,有效的综合评价标准可以推动图像去雾研究朝着正确的方向发展。
目前的文献大多从两方面对DHAs进行评价:一是人的定性评价,二是客观指标的定量评价。定性评估是直接和准确的,因为人类往往是去模糊图像的最终接受者。它是目前公认的评价策略,大多数dha在提出[6]、[16]、[18]时都是定性评价。但它有几个严重的缺点。一是费时、费钱,难以进行大规模评估。这样定性评价就变得可控了,因为没有广泛使用的大尺度评价集,选取的有限数量的模糊图像只占实际应用的很小一部分。此外,主观评价难以应用和嵌入到实际系统中,也就很难对系统进行及时的优化。
针对定性评价的弊端,引入了客观质量指标的定量评价方法。定量评价一般有两种策略:使用真实的模糊图像和使用合成的模糊图像。使用真正的模糊图像是更直接的方法。它利用了一些方法来评估由真实的模糊图像直接生成的去雾图像的质量。
将无雾图像作为去雾的地面真实值,采用全参考(FR) IQA测度作为评价标准。该策略易于进行定量评价。这种策略的主要缺点是,真实的雾霾可能不同于合成雾霾。如图1所示,合成雾霾和真实雾霾看起来很不一样。理想雾霾模型未必能很好地模拟实际雾霾。**合成雾霾通常被认为是均匀的,而真实的雾霾往往比这复杂得多。**此外,合成雾霾和许多DHAs都是基于理想的雾霾模型,这可能会降低去雾的难度。良好的合成除霾效果并不一定保证良好的真实除霾效果。因此,该策略可以从一个方面对DHAs进行评价,但还需要对真实的朦胧图像进行定量评价。
为了定量评价DHA,我们提出了去雾图像的去雾质量指数(DHQI)。我们测量去雾质量主要从以下3个方面入手:去雾、保持结构、过度强化。我们提取了3组特征来衡量这3个方面的质量,并将这些特征集成到整体去霾质量中:
雾霾主要是指对比度降低、图像细节丢失等可见性问题,而去雾则试图恢复这些丢失的对比度和图像细节。我们使用几个感知雾霾的描述符来检测去雾区留下的雾霾图像评价去雾效果。雾霾天数越多,去雾质量越差.
在[8]中发现了暗通道先验(dark channel prior, DCP),它描述了在无雾图像中至少有一个颜色通道的强度很低。雾霾的存在可以打破这种先验,雾霾较重通常会导致较亮的暗通道。我们使用像素级的DCP来测量去雾图像中留下的雾霾
其中c {R, G, B}表示去雾图像的RGB通道。
雾霾较少的图像通常包含更多的图像细节,因此我们使用图像熵来测量去雾图像的图像细节
其中p = [p1,…, p256]表示去雾后图像亮度的直方图概率。
去雾的另一个主要目的是恢复对比度,我们利用3个描述符来测量去雾图像的对比度。首先,利用公式(3)计算的局部方差。考虑到局部方差σ一般随局部均值μ变化,我们导出归一化局部方差作为第二个对比度特征
这个特性以前在[24]和[25]中用作雾霾感知特性。我们提取对比度能量(CE)[30]作为第三个对比度特征,用于估计感知到的图像局部对比度。C E已在[25]中用于雾霾密度预测,并被证明是一种有效的雾霾感知对比特征。具体来说,CE的计算为
gx和gy分别是高斯函数水平和垂直的二阶导数,ρ是Z(I)的最大值,κ控制对比度增益,τ是用于约束噪声的噪声阈值。读者可以参考[25]和[30]了解CE的更多细节。图3举例说明了所提出方法所使用的相关除霾特征图。
图3所示。去除雾霾的特征图说明。从左至右分别为I、dark、σ、η、CE
许多IQA措施利用结构特征,因为它有效地捕获图像退化[28],[29],[31],[32]。图像结构也是去雾质量预测的重要线索,因为DHAs 有时会引入结构伪影 。图4说明了去雾引入的结构伪影的两个典型例子。一个典型的失败发生在当一些dha使用激进的策略试图完全去除雾霾时,但他们可能会破坏固有的图像结构。另一个典型的结构伪影是过度增强,通常在低对比度区域观察到。将一些难以观测到的图像细节作为图像结构,进行增强处理。我们分别提取结构保持特征和过度增强特征来描述这种结构损伤和过度增强。
图4所示。DHAs引入的两种典型结构伪影:结构固有损伤(上)和结构过度增强(下)。并给出了相关的图像结构特征图,包括Ih、Id、sσ、sη、sI(从左至右)。
在FR IQA中,很容易通过对比参考图像和畸变图像的结构来捕捉结构损伤。但在真实的模糊图像上评价DHAs时,我们还没有一个完美的质量参考。考虑到我们只利用结构特征来描述对图像结构有显著改变的结构损伤,我们以模糊图像为参考,衡量模糊图像和去模糊图像之间的结构相似性。对于测量纹理丰富或非常平坦区域的结构损伤,模糊图像的结构可以提供大致的近似参考。
具体来说,我们利用3个结构特征计算Id和Ih之间的结构相似性来衡量图像的结构损伤。首先,推导方差相似度
其中,1是一个用来避免不稳定的常数。然后导出归一化方差相似度
其中,2具有与1相同的功能,ηd和ηh是通过式(7)计算的去模糊和模糊图像归一化方差。最后是归一化图像相似度
其中,ˆId=ˆId+3和ˆIh=ˆIh+3是归一化的去雾和模糊图像。我们添加一个常数3来将归一化的图像缩放到一个正的范围。
如第III-C节所述和图4所示,过度增强是另一个典型的结构伪影。它是去雾技术引入的一种副作用,将一些难以观察到的图像细节作为图像结构进行增强。如[24]所示,在没有明显图像结构的低对比度区域过度增强,对感知质量极其有害。我们仍然利用结构特征来描述过度增强。对低对比度区域的结构相似图进行汇聚来描述过度增强
其中下标φ 属于{σ, η, I}表示上述结构特征,N是一个归一化因子,表示集合中表示低对比度区域的像素个数,定义为
其中E(·)计算矩阵中所有值的平均值,theta表示方差小于平均值且方差增强大于平均值的所有像素点。
在去雾之前,一些模糊的图像经过一些压缩。在模糊图像中,由于对压缩程度的适当控制,压缩伪影很难观测到,但可以将其作为图像结构,在去雾过程中加以增强。考虑到JPEG是目前应用最广泛的图像压缩方法,且去雾过程中容易增强块效应,我们将块效应估计为一种过增强。我们检测去雾图像中的角和边,并计算它们的规律性作为块效应
其中c是角图,其中c(i,j)=1或0表示在(i,j)检测到一个角,c类似于c,但只有在8×8块边界检测到角,e,e分别是类似于c,c,的边缘图。该特性已被证明可以有效预测[27]和[31]中基于块的压缩图像和视频的质量。