一种基于深度学习的车牌图像去运动模糊方法   0    0

本发明提出一种基于深度学习的车牌图像去运动模糊方法。本发明分为数据集预处理阶段、训练阶段以及测试阶段。在数据集预处理阶段，确定图像中的车牌区域，分割车牌字符并规范化图像尺寸，添加高斯噪声，得到训练集。在训练阶段，采用生成对抗网络学习图像去运动模糊模型，以网络复原结果的均方误差、梯度误差及判别误差三者的线性和作为网络损失交替训练判别器和生成器。在测试阶段，分割车牌字符并依次作为生成器的输入，将去模糊结果按照车牌字符原次序组合得到去模糊车牌图像。本发明所提出的模型有效地约束了车牌图像的边缘，从而提高车牌图像去运动模糊的质量，同时缩短了复原的时间。

1.一种基于深度学习的车牌图像去运动模糊方法，其特征在于包括以下操作：
步骤1、数据集预处理：
1‑1、数据集包含清晰图像模糊图像对，用于标定清晰的车辆图像中车牌的位置；从清晰的车辆图像和对应的模糊车辆图像中抠出完整的车牌区域，得到车牌区域的清晰图像和模糊图像对；
1‑2、将车牌按照字符宽度分割得到34类单个字符数据集(O和I划归为0和1)，并统一归范化到16*48*3大小，其中16、48和3分别表示图像的宽度、高度和通道数；
1‑3、将所有的模糊车牌字符图像添加均值为μ，标准差为σ的高斯噪声，将清晰车牌字符图像和模糊车牌字符图像的像素值均映射到[0,1]中；
1‑4、从34类字符数据集中的每一类数据中随机抽取N1对作为训练数据集T，N2对作为验证数据集V；
步骤2、训练阶段的操作：
2‑1、从训练数据集T中随机抽取minibatch张模糊图像和对应的清晰图像，并随机裁剪
16*16方形区域作为训练模糊图像集B和清晰图像集S，此时的训练模糊图像集B和清晰图像集S均为minibatch*3*16*16，minibatch表示图像的数量，3表示图像的颜色通道数，16*16为图像的大小；将模糊图像集B输入生成器，得到生成器输出的minibatch*3*16*16的图像集L；
2‑2、将生成器的输出图像集L和对应的清晰图像集S依次作为判别器的输入，判别器依次输出两组置信度结果，每组置信度包含minibatch个概率值，以此判定每张输入的图像是清晰图像还是生成的图像，若概率值大于0.5，则判为清晰图像；否则，判为生成图像；
2‑3、计算生成图像集L和清晰图像集S之间的均方误差lmse，即：
其中，ck、wk、hk分别表示多尺度生成器中每个尺度图像的颜色通道数、宽度以及高度，K表示尺度级数,Lk是多尺度生成器生成的第k个尺度图像，Sk是对应的第k个尺度清晰图像；
多尺度通过对图像多次降采样得到尺寸缩小的图像，同一幅图像不同尺寸的数量表示尺度的级数，其中第一级尺度为原尺寸大小的图像，从第二级开始，每一级图像的尺寸为上一级图像尺寸的宽度、高度各一半，即为上一级图像大小四分之一；
2‑4、计算生成图像集L和清晰图像集S的梯度图像 和 并计算梯度图像之间的梯度误差lgrad，即：
其中，梯度图像分别通过计算水平方向梯度值dx和垂直方向的梯度值dy绝对值之和得到，即：
2‑5、计算生成图像集L和清晰图像集S的判别误差ladv，即：
式中，s～p(S)表示清晰图像s取自于清晰图像集S，其中p(S)表示清晰图像集S的概率分布，b～p(B)表示模糊图像b取自于模糊图像集B，p(B)表示模糊图像集B的概率分布，G(im)表示输入图像im经生成器生成的结果图像，D(im)表示判别器对输入图像im的判别概率，E(x)表示对x取期望；
2‑6、计算总的损失函数ldb大小，即：
ldb＝lmse+α1lgrad+α2ladv  (5)
其中α1、α2为大于0的正则项系数；
2‑7、根据步骤2‑5所述的式(4)判别误差ladv优化判别器；
2‑8、根据步骤2‑6所述的式(5)总损失函数ldb优化生成器；
2‑9、从训练数据集T中随机抽取minibatch张模糊图像和对应的清晰图像重新组成模糊图像集B和清晰图像集S，通过步骤2‑1到步骤2‑8重复训练；
2‑10、当训练的总数据量达到训练集T的图像数量时，将验证集V的模糊图像依次输入当前训练完的生成器和判别器，计算验证集的平均总损失ldb，优化判别器和生成器；
2‑11、通过步骤2‑1到步骤2‑10进行重复训练，直至该训练阶段的训练集总损失函数值ldb变化小于阈值Th，则认定该训练已达到收敛；
步骤3、测试阶段的操作：
3‑1、从运动模糊的测试车牌图像中抠出车牌区域；
3‑2、将车牌区域按照字符间隔分割成单一的车牌字符并归范化到为16*48*3大小，其中16、48和3分别表示图像的宽度、高度和颜色通道数；
3‑3、加载训练好的模型，输入分割得到的测试车牌字符图像，得到去模糊后的车牌字符图像；
3‑4、将去模糊后的车牌字符按照原次序组合得到去模糊后的整幅车牌图像；
步骤2‑5所述的判别器，具体如下：
判别器由七个卷积层、一个全连接层和一个Sigmoid激活层组成；首先，minibatch*3*
16*16的图像集输入该判别器，第一层为32*3*3的卷积层，有32通道的卷积核，每个卷积核尺寸为3*3，步长为2，边缘补零的宽度为1，输出大小为minibatch*32*8*8；第二层为64*3*3的卷积层，有64通道的卷积核，每个卷积核尺寸为3*3，步长为1，边缘补零的宽度为1，输出大小为minibatch*64*8*8；第三层为64*3*3的卷积层，有64通道的卷积核，每个卷积核尺寸为3*3，步长为2，边缘补零的宽度为1，输出大小minibatch*64*4*4；第四层为128*3*3的卷积层，有128通道的卷积核，每个卷积核尺寸为3*3，步长为1，边缘补零的宽度为1，输出大小为minibatch*128*4*4；第五层为128*3*3的卷积层，有128通道的卷积核，每个卷积核尺寸为3*3，步长为2，边缘补零的宽度为1，输出大小为minibatch*128*2*2；第六层为256*3*3的卷积层，有256通道的卷积核，每个卷积核尺寸为3*3，步长为1，边缘补零的宽度为1，输出大小为minibatch*256*2*2；第七层为256*2*2的卷积层，有256通道的卷积核，每个卷积核尺寸为2*2，边缘不补零，输出大小为minibatch*256*1*1；最后一层卷积层的输出经输入通道数为256、输出通道数为1的全连接层得到minibatch个常数，经Sigmoid函数激活后输出minibatch个判定的概率，若判定概率大于0.5，则判定对应输入图像为清晰图像；否则，判定为生成图像；
步骤2‑6所述的生成器，具体如下：
生成器由三个尺度的网络构成，粗尺度网络通过反卷积层与上一级尺度网络连接，其中反卷积层通道数为3，卷积核为5*5、步长为1、补零的宽度为2；在单个尺度的网络中，图像输入和输出的尺寸保持不变，该尺度下的网络首先是一个64通道、5*5大小的卷积核、步长为1、补零宽度为2的卷积层，设该尺度为k，该卷积层输出大小为minibatch*64*wk*hk，然后是一个ReLU激活层，接下来是19个重复的残差子网，其中每个残差子网包括两条分支，一条分支由两个卷积层和第一个卷积层后的ReLU激活层组成，其中卷积层参数均设为64通道、
5*5大小的卷积核、步长为1、补零宽度为2，另一条分支则没有任何结构单元，两条分支在残差子网输出之前完成通道级联，输出128通道的图像集；单个尺度网络中的最后一个残差子网后连接了一个卷积层和一个ReLU激活层，其中卷积层包括3通道的卷积核，每个卷积核大小为5*5、步长为1、补零宽度为2，设该尺度为k，输出大小为minibatch*3*wk*hk。