[0036] 下面结合附图和具体实施例对本发明方法做进一步的解释说明。
[0037] 如图1所示,本发明实施例提供的一种基于天空区域识别的单幅图像去雾方法,包括以下步骤:
[0038] 步骤1,识别出有雾彩色图像中的天空区域和非天空区域,具体为:
[0039] 步骤1.1,利用下式提取有雾彩色图像中每个像素的天空特征值,获得天空特征图,如图 2中的 (b)所示:
[0040]
[0041] 其中,F(x,y)表示像素(x,y)的天空特征值, 表示像素(x,y)的梯度,V(x,y)表示像素(x,y)的亮度,S(x,y)表示像素(x,y)的饱和度, 表示全图亮度均值,λ1表示梯度特征阈值,λ2表示饱和度特征阈值,e表示自然常数。
[0042] 本实施例中λ1=0.005,λ2=0.04。
[0043] 步骤1.2,为了消除天空特征图中的噪点,将上述天空特征图先进行膨胀运算,再进行腐蚀运算获得优化天空特征图,如图2中的(c)所示。具体利用下式对有雾彩色图像中每个像素的天空特征值进行优化:
[0044] Frefined(x,y)←dilate(erode(F(x,y)))
[0045] 其中,Frefined(x,y)表示像素(x,y)的天空特征优化值,dilate(·)表示膨胀算子,erode(·)表示腐蚀算子。
[0046] 步骤1.3,求取全图的天空特征优化均值 依次判别有雾彩色图像中的每个refined像素,若像素(x,y)的天空特征优化值F (x,y)大于全图的天空特征优化均值 的
1.2倍,则判定像素(x,y)属于天空区域Isky,否则属于非天空区域Inon‑sky。
[0047] 本发明实施例的步骤1可有效识别出天空区域和非天空区域,效果如图3所示,图3中的(a)、(b)、(c)和(d)为包含天空区域的有雾彩色图像,图3中的(e)、(f)、(g)和(h)分别对应为图3中的(a)、(b)、(c)和(d)的天空区域识别效果图。
[0048] 步骤2,求取天空区域Isky中每个像素的邻域的饱和度均值,本实施例中邻域大小选择 15×15,将饱和度均值从大到小进行排序,选择排在前1%的饱和度均值对应的像素构成候选大气光像素集,计算候选大气光像素集中的强度均值,将该值作为全局大气光值L∞。
[0049] 步骤3,求取非天空区域的透射图,根据全局大气光值,利用大气散射模型获得非天空区域的去雾图。
[0050] 步骤3.1,结合暗通道先验方法[1],利用下式求取非天空区域中像素的粗略透射率,构建非天空区域的粗略透射图:
[0051]
[0052] 其中,trough'(x,y)表示非天空区域的粗略透射图中像素(x,y)的粗略透射率,Ωc(x,y)表示非天空区域的粗略透射图中像素(x,y)的邻域,I(x',y')表示邻域Ω(x,y)中任意一个像素(x',y') 对应的有雾彩色图像中像素(x',y')的R、G、B三个通道的任意一个通道的强度值,L∞表示全局大气光值。
[0053] 步骤3.2,采用文献[2]所提出的导向全变分模型对非天空区域中像素的粗略透射率进行优化,得到非天空区域的优化透射图,其中导向全变分模型的表达式如下:
[0054]
[0055] 其中,t'(x,y)表示非天空区域的优化透射图中像素(x,y)的优化透射率, 表示非天空区域的优化透射图中像素(x,y)的梯度, 表示非天空区域的优化透射图中像素(x,y) 对应的有雾彩色图像的灰度图中像素(x,y)的梯度,表示求二范数的平方。
[0056] 步骤3.3,根据全局大气光值L∞和非天空区域的优化透射图,利用下式获得非天空区域的去雾图:
[0057]
[0058] 其中,J'(x,y)表示非天空区域的去雾图中像素(x,y)的强度值,I'(x,y)表示非天空区域的去雾图中像素(x,y)对应的有雾彩色图像中像素(x,y)的强度值。
[0059] 步骤4,结合有雾彩色图像的天空区域和非天空区域的去雾图获得总去雾图像。
[0060] 考虑到防止去雾总图像中天空区域与非天空区域的交界处边缘突兀,跳变太大导致光晕效应显著,本发明实施例中步骤4还增加了对识别出的天空区域做去雾处理,具体为:
[0061] 步骤4.1,设置天空区域中像素(x,y)的粗略透射率trough*(x,y)=1,构建天空区域的粗略透射图。
[0062] 步骤4.2,采用导向全变分模型对天空区域中像素的粗略透射率进行优化,得到天空区域的优化透射图,其中导向全变分模型的表达式如下:
[0063]
[0064] 其中,t*(x,y)表示天空区域的优化透射图中像素(x,y)的优化透射率, 表示天空区域的优化透射图中像素(x,y)的优化透射率的梯度, 表示天空区域的优化透射图中像素(x,y)对应的有雾彩色图像的灰度图中像素(x,y)的梯度,表示求二范数的平方。
[0065] 步骤4.3,根据全局大气光值L∞和天空区域的优化透射图,利用下式获得天空区域的去雾图:
[0066]
[0067] 其中,J*(x,y)表示天空区域的去雾图中像素(x,y)的强度值,I*(x,y)表示天空区域的去雾图中像素(x,y)对应的有雾彩色图像中像素(x,y)的强度值。
[0068] 步骤4.4,结合天空区域的去雾图和非天空区域的去雾图获得总去雾图像。
[0069] 需要说明的是,上述步骤3和步骤4可合并为同一步骤处理,具体包括:
[0070] 利用下式求取有雾彩色图像中像素的粗略透射率,构建有雾彩色图像的粗略透射图,如图2中的(e)所示:
[0071]
[0072] 其中,trough(x,y)表示粗略透射图中像素(x,y)的粗略透射率,Ω(x,y)表示粗略透c射图中像素(x,y)的邻域,I (x',y')表示邻域Ω(x,y)中任意一个像素(x',y')对应的有雾彩色图像中像素 (x',y')的R、G、B三个通道的任意一个通道的强度值,L∞表示全局大气光值。
[0073] 采用导向全变分模型对粗略透射图中像素的粗略透射率进行优化,得到优化透射图,如图2中的 (f)所示,其中导向全变分模型的表达式如下:
[0074]
[0075] 其中,t(x,y)表示优化透射图中像素(x,y)的优化透射率, 表示优化透射图中像素 (x,y)的优化透射率的梯度, 表示优化透射图中像素(x,y)对应的有雾彩色图像的灰度图中像素(x,y)的梯度,表示求二范数的平方。
[0076] 根据全局大气光值L∞和优化透射图,利用下式获得总去雾图像,如图2中的(g)所示:
[0077]
[0078] 其中,J(x,y)表示总去雾图像中像素(x,y)的强度值,I'(x,y)表示总去雾图像中像素(x,y) 对应的有雾彩色图像中像素(x,y)的强度值。
[0079] 该步骤中,利用暗通道先验对非天空区域进行透射率估计,并将天空区域中像素的粗略透射率均设为1,从而获得全图的粗略透射率。然后,采用导向全变分模型对全图的粗略透射率进行优化处理,从而获得优化透射率。最后,根据全局大气光值和优化透射率获得去雾处理后的图像。其中,导向全变分模型对全图的粗略透射率进行优化处理的主要目的是对全图的粗略透射率进行保边平滑处理,使得景深突变区域的透射率不产生跳变效应,特别是天空区域和非天空区域交界的边缘区域。导向全变分模型使用有雾彩色图像的灰度图做导向,而有雾彩色图像的天空区域是近似没有纹理的,因此并不会对的天空区域内部(粗略透射率为1)的粗略透射率带来较大变化,因此获得的天空区域的去雾图不会发生过增强、色偏的效应。
[0080] 本发明实施例中还包括步骤5,利用下式对总去雾图像进行亮度一致性修正,获得去雾修正图像:
[0081]
[0082] 其中,R(x,y)表示去雾修正图像中像素(x,y)的强度值,J(x,y)表示去雾修正图像中像素 (x,y)对应的总去雾图像中像素(x,y)的强度值,Ω(x,y)表示去雾修正图像中像素c(x,y)对应的总去雾图像中像素(x,y)的邻域,J (x',y')表示邻域Ω(x,y)中任意一个像素(x',y')对应的总去雾图像中像素(x',y')的R、G、B三个通道的任意一个通道的强度值。
[0083] 该步骤简单有效,且具有较高的效率。该步骤的核心思想是自适应的削减图像过亮区域中的像素强度、提高过暗区域的像素强度,从而达到修正图像亮度一致性的目的。
[0084] 图4和图5为利用本发明实施例方法和现有的四种方法对相同的两个有雾彩色图像进行处理的效果图,其中,图4中的(a)和图5中的(a)为包含天空区域的雾天降质图像,图4中的 (b)和图5中的(b)为He方法[1]处理后的去雾图像,图4中的(c)和图5中的(c)为Gu方法[6]处理后的去雾图像,图4中的(d)和图5中的(d)为Tarel方法[4]处理后的去雾图像,图
4中的(e) 和图5中的(e)为Meng方法[5]处理后的去雾图像,图4中的(f)和图5中的(f)为本发明方法处理后的去雾图像。从图4和图5中可以看出,本发明方法可以取得更好的视觉效果,在有效消除图像中雾气的同时天空区域不会出现色偏、过增强或光晕等负面效应。
[0085] 参考文献:
[0086] [1]He K,Sun J,Tang X.Single Image Haze Removal Using Dark Channel Prior[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2011,33(12):2341‑2353.
[0087] [2]Ju M,Zhang D,Wang X.Single image dehazing via an improved atmospheric scattering model[J].Visual Computer,2017,33(12):1613‑1625.[0088] [3]Gu Zhen‑fei,Ju M,Zhang D.A novel Retinex image enhancement approach via brightness channel prior and change of detail prior[J].Pattern Recognition&Image Analysis,2017, 27(2):234‑242.
[0089] [4]Tarel J P,Hautière N.Fast visibility restoration from a single color or gray level image[C]//IEEE 12th International Conference on Computer Vision,2009:2201‑2208.
[0090] [5]Meng G,Wang Y,Duan J,et al.Efficient Image Dehazing with Boundary Constraint and Contextual Regularization[C]//IEEE International Conference on Computer Vision.IEEE, 2014:617‑624.
[0091] [6]Gu Zhen‑fei,Ju Ming‑ye,Zhang Deng‑yin.A single image dehazing method using average saturation prior[J].Mathematical Problems in Engineering,2017,2017:1‑17.