一种融合深度区域分割的多大气光值交通图像去雾方法   0    0

本发明公开了一种融合深度区域分割的多大气光值交通图像去雾方法，首先制作雾霾图像数据集，然后利用雾霾图像数据集为输入，训练雾霾图像深度分割器，让机器学习雾霾天气下天空和非天空区域的特征；采集雾霾天气下用于测试的交通图像；采用雾霾图像深度分割器对采集的交通图像进行分割，得到天空区域和非天空区域，求取天空区域和非天空区域的大气光值和透射率，加权平均后，得到综合大气光值和综合透射率；利用快速引导滤波对综合透射率细化处理，重构无雾交通场景图片。

1.一种融合深度区域分割的多大气光值交通图像去雾方法，其特征在于，包括以下步骤：
步骤1：制作雾霾图像数据集；
具体包括：
步骤1.1：在含雾的天气下，沿着交通路线，拍摄各个路口，整理成9个视频和1000张图片，对含有天空和非天空区域的图片进行筛选，最终确定264张真实交通场景图像，做成初始雾霾图像数据集；
步骤1.2：对步骤1.1中初始雾霾图像数据集的图片进行标注，即采用github开源工具labelme对雾天场景的天空和非天空区域进行分割，最终得到的雾霾图像数据集包含四类文件，第一类文件是步骤1.1中初始雾霾图像数据集，第二类文件是对第一类文件标注后生成的标签文件，第三类文件是通过第二类文件的标签信息生成的数据集，第四类文件是从第三类文件中提取的分割图片集合，共有两类，分为天空区域和非天空区域；
步骤2：利用步骤1中的雾霾图像数据集为输入，训练雾霾图像深度分割器，让机器学习雾霾天气下天空和非天空区域的特征；
具体包括：
步骤2.1：搭建Mask R‑CNN网络
网络第一部分使用了残差网络ResNet对初始雾霾图像数据集中的雾霾图像的结构和纹理特征进行提取；
网络第二部分是候选区生成网络RPN，候选区生成网络RPN依赖于一个滑动的窗口，在网络第一部分输出的特征图上遍历，为每一个像素点生成9种目标框，对于生成的目标框，首先通过目标框与第三类文件中含有标签信息数据集中图片的的交叠比判断当前目标框属于前景还是背景，交叠比大于0.5认为是前景，小于0.3认为是背景，交叠比在0.3和0.5之间的目标框舍弃；然后在判断出目标框为前景的情况下，对其区域的坐标进行依次修正，整个候选区生成网络RPN的损失函数如式(1)：
其中，pi为目标框预测为目标的概率， 在正标签是值为1，其他全为0，ti＝{tx，ty，tw，th}是一个向量，表示预测的目标框的4个参数化坐标，是前景部分目标框对应的真实标签坐标向量， 是目标和非目标的对数损失， 是回归损失，λ为10，Ncls为
256，Nreg设为2400，以确保两部分损失平衡；
网络第三部分是分类输出，一共有三个输出分支，第一个分支中，每一类都输出一张分割预测图；第二个分支，得到目标框的位置信息输出；第三个分支，得到类别的输出，这三个分支的输出组合成了最终的结果，包含有目标检测、识别和分割，总体损失函数为：
Lfinal＝L({pi}，{ti})+(Lcls+Lbox+Lmask)    (2)
其中L({pi}，{ti})表示RPN部分的损失，Lcls、Lbox、Lmask分别表示类别、目标框、分割部分的损失；
对步骤1中的雾霾图像数据集进行训练，当总体损失函数Lfinal小于0.01时，跳出训练过程；
步骤2.2：对步骤1中获得的图像进行模糊C均值聚类
首先获取步骤1中雾霾图像的暗通道图，求取暗通道的公式表示为：
其中， 表示训练集中图像的暗通道图，c表示RGB的某个通道， 表示训练集中图像对应通道的原图，Ω(x)是计算暗通道的算子滑块大小；
然后对暗通道图进行模糊C均值聚类；
使用随机算法生成一组数据，利用不确定的数据初始化隶属度矩阵U，使其符合式：
其中，c表示聚类中心的个数，uij表示索引为(i，j)的隶属度；
计算出聚类中心的个数c，符合下式：
其中，c为模糊组的中心的个数，uij表示索引为(i，j)的隶属度，m表示控制算法的柔性参数，n是需要分类的样本数量；
设置阈值判断条件，使算法执行或者跳出，以达到损失函数要求，损失函数表示为：
其中，ci为第i个模糊组的中心，U为隶属度矩阵，uij表示索引为(i，j)的隶属度，介于0到1间，dij＝||ci‑xj||为第j个数据与第i个中心与的欧式距离，m表示控制算法的柔性参数；
计算每一次迭代后的U矩阵，其中矩阵中每个元素满足：
其中，c为模糊组的中心的个数，uij表示索引为(i，j)的隶属度，m表示控制算法的柔性参数，dij＝||ci‑xj||为第j个数据与第i个中心与的欧式距离，dkj＝||ck‑xj||为第j个数据与第k个中心与的欧式距离；
总体损失函数为：
其中，U为隶属度矩阵，c为模糊组的中心的个数，uij表示索引为(i，j)的隶属度，λj表示第索引为j的平衡系数，m表示控制算法的柔性参数，dij为第j个数据与第i个中心与的欧式距离；
步骤2.3：综合步骤2.1和步骤2.2算法，得到雾霾图像深度分割器；
步骤3：采集雾霾天气下用于测试的交通图像；
步骤4：采用步骤2中雾霾图像深度分割器对步骤3采集的交通图像进行分割，得到天空区域和非天空区域，求取天空区域和非天空区域的大气光值和透射率，对天空区域和非天空区域的大气光值进行加权平均，得到综合大气光值，再根据综合大气光值计算得到综合透射率；
步骤5：利用快速引导滤波对步骤4中的综合透射率细化处理，重构无雾交通场景图片。

2.根据权利要求1所述的一种融合深度区域分割的多大气光值交通图像去雾方法，其特征在于，步骤4中求取综合大气光值和综合透射率的方法为：
步骤4.1：利用步骤2中得到的雾霾图像深度分割器，对步骤3中采集的测试图像分割，sky non‑sky
得到雾霾天气下交通图像的天空区域图像I ，非天空区域图像I ；
sky non‑sky
步骤4.2：利用步骤4.1中的I ，I 求综合大气光值；
先求出步骤3中测试图像的暗通道图，
其中， 表示测试图像的暗通道图，c表示RGB的某个通道， 表示测试图像对应通道的原图，Ω(x)是计算暗通道的算子滑块大小；
sky non‑sky
结合步骤4.1中I ，I ，对 进行分割，得到只含天空区域的暗通道图
和只含非天空区域的暗通道图
找出图像 和 中亮度值为从小到大排列后前千分之一点的坐标，将得到
的坐标映射到步骤3中的测试图像中，提取出相应点的像素值，累加之后取平均值，得到需要的大气光；
sky sky non‑sky
其中，A 对应天空区域I 的大气光值矩阵，A 对应非天空区域的大气光值矩阵，sky non‑sky
n1和n2分别表示A 和A 的元素个数， 和 表示天空和非天空区域的大气
光值；
综合 和 得到综合大气光值
其中， 和 表示天空和非天空区域的大气光值，Azonghe表示综合大气光值；
步骤4.3：求透射率图
初始透射率计算的计算如下
其中， 为估计的初始透射率，ω为影响因子，Ω(x)为计算暗通道的算子滑块大小，c
I(x)为步骤3中测试图像对应RGB三通道的图像， 为某一通道对应的综合大气光值。

3.根据权利要求2所述的一种融合深度区域分割的多大气光值交通图像去雾方法，其特征在于，步骤5中还原无雾图像的方法为：
以初始透射率图 为输入图像，步骤3中的测试图像为引导图像，输出图像为最终的透射率图t(x)，采用快速引导滤波对初始透射率细化，首先对输入图像和引导图像以步长为4进行下采样，得到缩小尺寸的输入图像p′和引导图像I′；
之后对输入图像p′和引导图像I′进行引导滤波：
q′in＝∑jnWinjn(I′)p′jn    (14)
其中，I′为缩小尺寸的引导图像，in，jn是图像像素的索引，缩小尺寸的输入图像的像素点为p′jn，输出图像像素点为q′in，Winjn是由输入图像和引导图像组成的滤波核函数；
假设滤波过程为成局部的线性变换，滤波后的输出图像表示为：
其中，ak和bk是以像素k为中心的滑框系数；
对比输入输出图像的差异，将误差降到最低，则得到
其中，μk和 分别表示引导图像I′在局部窗口ωk中的均值和方差， 是缩小尺寸的输入图像p′在窗口ωk中的均值；
然后对式(15)中的输出图像进行上采样，恢复到原有尺寸大小，得到输出图像为qin；
公式为：
其中，
重构图像公式为
其中，I(x)表示步骤3中的测试图像，Azonghe表示综合大气光值，t(x)为经过快速引导滤波后的透射率图，即为式(18)的结果图qin，t0为正则化项，取0.15。