[0035] 以下结合图1对本发明方法原理进行详细说明。
[0036] 步骤1:对任意一帧序列低分辨率图像进行双线性插值操作,使其达到所期望的空间分辨率,作为目标高分辨率图像的初始参考帧。
[0037] 对该初始帧进行边缘提取,得到其边缘图像。图像的边缘提取方法有多种,常用的边缘检测算子有Sobel算子、Roberts算子、Canny算子等。在实际应用中,可根据图像的自身特性,依据各种算子的优缺点,选择合适的算子进行边缘提取。本发明涉及边缘提取部分,采用Canny算子对高分辨初始帧进行边缘提取。
[0038] 步骤2:选取一帧低分辨率图像,逐一对该低分辨率图像中每个像素点进行处理,即找到相应像素点在高分辨率初始帧中PSF作用窗口的中心坐标,根据步骤1中边缘提取的结果,判断中心坐标处的像素是否为边缘像素。
[0039] 步骤3:根据步骤2的判断结果,如果是边缘像素,则计算该像素点处的边缘与水平方向的夹角,并根据夹角的大小推导出新的PSF;如果不是边缘像素,则不改变原有的PSF。
[0040] PSF是由具体成像系统决定的,通常可采用最常见的高斯模型:
[0041]
[0042] 上式中,X0和Y0为点扩散函数的中心点坐标,Sh表示支撑域。
[0043] 当检测到的图像边缘趋近于水平方向时,则希望PSF模板水平方向所占权重更大;当检测到的图像边缘趋近于垂直方向时,则希望PSF模板垂直方向所占权重更大。因此,可对PSF做出如下改进:
[0044]
[0045] 上式中β1和β2分别是PSF模板水平方向与垂直方向的权重系数。
[0046] 对于检测到的边缘,本发明使用Sobel模板计算其与水平方向的夹角。用GX和Gy分别表示水平方向与垂直方向梯度,则检测到的图像边缘与水平方向的夹角θ为:
[0047] θ=arctan(Gy/GX) (3)
[0048] 根据以上分析,本发明所设计的改进PSF,其参数β1和β2可随着夹角θ的变化而变化,即当θ=0时,β1=1且β2=0;随着θ的增大,β1随之减小而β2随之增大;当0=90°时,β1=0且β2=1。因此,可定义θ与β1、β2之间的关系如下:
[0049] β1=(π‑2θ)/π,β2=2θ/π (4)
[0050] 把式(4)带入式(2)即可得:
[0051]
[0052] 式(5)即为改进的PSF。本发明的创新性在于通过式(5),可以使边缘处像素的PSF模板水平方向权重系数β1和垂直方向权重系数β2随着边缘与水平方向的夹角θ的不同而自适应调整,从而增强重建高分辨率图像的边缘保持能力。
[0053] 对于检测到的边缘像素,应用上述改进的PSF,进行后续操作。若检测到非边缘像素,则不改变原有PSF,进行后续操作。
[0054] 步骤4:根据步骤3的结果,选取相应的PSF,模拟由高分辨率图像生成低分辨率图像的过程,由高分辨初始帧估计计算出一帧低分辨率图像的像素值,并计算该估计像素值与相应原有序列低分辨率图像像素值之间的残差,根据残差对高分辨初始帧做出修正。
[0055] 用fref(s,t)表示当前高分辨率初始参考帧,gl(i,j)表示当前序列低分辨率图像的一帧。逐一对当前低分辨率图像的像素点进行处理。若gl(i,j)中某像素(i0,j0)映射到高分辨率参考帧的PSF作用窗口中心坐标为(s0,t0),则该像素的估计值由
[0056]
[0057] 计算可得。于是,该灰度估计值与原有低分辨率图像(i0,j0)处的像素值残差为:
[0058] rl(i0,j0)=gl(i0,j0)‑f(s0,t0) (7)
[0059] 对序列低分辨率图像每一个像素点进行处理时,计算获得的残差rl(i0,j0)的绝对值必须限制在预先设置的边界内。若残差rl(i0,j0)的绝对值大于指定阈值σ0,则对当前高分辨率图像PSF作用窗口中的像素值进行修正,具体修正方法如式(8)所示:
[0060]
[0061] 由式(8)计算所得的fref(s,t)即为目标高分辨率图像。在实际应用中,根据具体问题的实际需求,可设置合适的总迭代循环次数,在每一次迭代中依次对每一帧序列低分辨率图像应用步骤2至步骤4,多次迭代优化,最终可得到所需的目标高分辨率图像。
[0062] 本发明实验选取4帧分辨率为256×256的序列低分辨率图像,重建的高分辨率图像是序列低分辨率图像分辨率的2倍,即512×512。
[0063] 图2是应用本发明提供的方法重建出的高分辨率图像前后对比图。
[0064] 由实验结果可以得出:第一,应用本发明提供的方法,成功的由4帧序列低分辨图像重建出了一幅高分辨率图像,该高分辨率图像清晰度相较于原有低分辨率图像有了明显的提升;第二,本发明提供的方法考虑到图像边缘部位重建的特殊性,对图像边缘依据本发明提供的方法进行了特殊处理,使重建获得的高分辨率图像边缘保持效果良好。在图像边缘附近,灰度值变化率较大,计算整幅图像的平均梯度,可用于表征整幅图像以及图像边缘的相对清晰程度。本实验的结果显示,使用本发明提供的基于边缘保持的POCS图像超分辨重建方法,相较于传统的POCS重建方法,可将图像的平均梯度由3.97提高到4.22,提升比率为6.30%,充分证明了本算法的有效性。