首页 > 专利 > 杭州电子科技大学 > 一种基于边缘保持的POCS图像超分辨重建方法专利详情

一种基于边缘保持的POCS图像超分辨重建方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2018-05-25
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2018-11-30
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2022-05-31
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2038-05-25
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201810513242.9 申请日 2018-05-25
公开/公告号 CN108765288B 公开/公告日 2022-05-31
授权日 2022-05-31 预估到期日 2038-05-25
申请年 2018年 公开/公告年 2022年
缴费截止日
分类号 G06T3/40G06T7/13 主分类号 G06T3/40
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 3
权利要求数量 4 非专利引证数量 1
引用专利数量 0 被引证专利数量 0
非专利引证 1、CN 103136734 A,2013.06.05肖创柏等.序列图像的POCS超分辨率重建方法《.北京工业大学学报》.2009,(第01期),;
引用专利 被引证专利
专利权维持 4 专利申请国编码 CN
专利事件 事务标签 实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 郭宝峰、房垚鑫、谷雨、左燕、陈华杰、郭云飞、彭冬亮 第一发明人 郭宝峰
地址 浙江省杭州市经济技术开发区白杨街道2号大街1158号 邮编 310018
申请人数量 1 发明人数量 7
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
浙江千克知识产权代理有限公司 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
周希良、李欣玮
摘要
本发明公开了一种基于边缘保持的POCS图像超分辨重建方法,包含图像边缘提取、判断像素点是否为边缘像素、根据判断结果改进PSF、根据相应PSF进行迭代修正等四个基本步骤,具体为:对任意一帧低分辨率图像进行双线性插值操作,得到目标高分辨率图像的初始参考帧;对该初始帧进行边缘提取,得到其边缘图像;对检测到的边缘像素,根据夹角大小的不同而采用不同的PSF;选取相应的PSF,模拟低分辨率图像的生成过程,由高分辨初始帧计算出低分辨率图像的像素值,计算该像素值与相应原有序列低分辨率图像像素值之间的残差,根据残差对高分辨初始帧做出修正。本发明使得重建的高分辨率图像清晰度相较于原有低分辨率图像有了明显的提升,且图像边缘保持效果良好。
  • 摘要附图
    一种基于边缘保持的POCS图像超分辨重建方法
  • 说明书附图:图1
    一种基于边缘保持的POCS图像超分辨重建方法
  • 说明书附图:图2
    一种基于边缘保持的POCS图像超分辨重建方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2022-05-31 授权
2 2018-11-30 实质审查的生效 IPC(主分类): G06T 3/40 专利申请号: 201810513242.9 申请日: 2018.05.25
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于边缘保持的POCS图像超分辨重建方法,其特征在于,基本步骤包括:
步骤1:图像边缘提取:对任意一帧低分辨率图像进行双线性插值操作,得到目标高分辨率图像的初始参考帧;对该初始参考帧进行边缘提取,得到其边缘图像;
步骤2:判断像素点是否为边缘像素:选取一帧低分辨率图像,逐一对该低分辨率图像中每个像素点进行处理,即找到相应像素点在高分辨率初始参考帧中PSF作用窗口的中心坐标,判断中心坐标处的像素是否为边缘像素;
步骤3:根据判断结果改进点扩散函数:根据步骤2的判断结果,如果是边缘像素,则计算该像素点处的边缘与水平方向的夹角,并根据夹角的大小推导出新的PSF;如果不是边缘像素,则不改变原有的PSF;步骤3中的PSF是由具体成像系统决定的,高斯模型为:
上式中,X0和Y0为点扩散函数的中心点坐标,Sh表示支撑域;β1和β2分别是PSF模板水平方向与垂直方向的权重系数,GX和Gy分别表示水平方向与垂直方向梯度,检测到的图像边缘与水平方向的夹角θ为:
θ=arctan(Gy/GX);
其中,β1=(π‑2θ)/π,β2=2θ/π;
步骤4:根据相应PSF进行迭代修正:根据步骤3的结果,选取相应的PSF,模拟低分辨率图像的生成过程,由高分辨初始帧计算出低分辨率图像的像素值,并计算该像素值与相应原有序列低分辨率图像像素值之间的残差,根据残差对高分辨初始帧做出修正;直到每一帧序列低分辨率图像的每个像素点的处理,则重建过程结束;
步骤4的具体步骤如下:
用fref(s,t)表示当前高分辨率初始参考帧,gl(i,j)表示当前序列低分辨率图像的一帧;逐一对当前低分辨率图像的像素点进行处理,若gl(i,j)中某像素(i0,j0)映射到高分辨率参考帧的PSF作用窗口中心坐标为(s0,t0),则该像素的估计值由下式计算可得;
该灰度估计值与原有低分辨率图像(i0,j0)处的像素值残差为:
rl(i0,j0)=gl(i0,j0)‑f(s0,t0)
若残差rl(i0,j0)的绝对值大于指定阈值σ0,则对当前高分辨率图像PSF作用窗口中的像素值进行修正,具体修正方法如下式所示:

2.如权利要求1所述的一种基于边缘保持的POCS图像超分辨重建方法,其特征在于,设置合适的总迭代循环次数,重复步骤2至步骤4,得到目标高分辨率图像。

3.如权利要求1所述的一种基于边缘保持的POCS图像超分辨重建方法,其特征在于,步骤1通过边缘检测算子进行边缘提取,所述边缘检测算子选用Canny算子。

4.如权利要求1所述的一种基于边缘保持的POCS图像超分辨重建方法,其特征在于,根据检测到的图像边缘方向,PSF的高斯模型为:
说明书

技术领域

[0001] 本发明属于图像超分辨重建领域,具体涉及一种基于边缘保持的凸集投影(POCS,projection on convex set)图像超分辨重建方法。

背景技术

[0002] CCD和CMOS图像传感器广泛的被用来获取数字图像,提高图像分辨率最直接的方法是提高成像装置的分辨力,但是受传感器阵列排列密度的限制,提高传感器的空间分辨率越来越难。解决这一问题的一个实用而有效的方法就是图像的超分辨率重建技术。
[0003] 对同一场景进行多次采样,可以得到该场景的多幅序列图像。受到图像分辨率的限制,序列图像中的单一一帧难以完全表述该场景中的细节信息,而多幅序列图像中含有更多丰富的互补信息。序列图像的超分辨率重建技术是指,利用多幅序列图像之间的互补信息,通过相关算法对序列低分辨率图像进行处理,重建出一幅包含更多细节信息的高分辨率图像。
[0004] POCS算法是图像超分辨率重建的重要方法之一。此方法中,超分辨率解空间是由先验知识信息定义的凸约束集合,这些约束集合表征了超分辨率重建图像的一些期望性质,如支撑域有界性、正定性、能量有限性等。POCS算法将各种丰富的先验知识,作为图像重建的约束条件,每个约束条件对应于整个成象空间中的一个含有理想高分辨率图像的凸集。这些凸集的交集中的任何一点都被认为是可以接受的图像重建结果。
[0005] 图像的边缘是图像的最基本特征,边缘点是指图像中周围像素灰度有阶跃变化或屋顶变化的那些像素点,即灰度值导数较大或极大的地方。基于点扩散函数(PSF)的图像修正过程是POCS算法的核心,也是重建结果边缘保持不良产生的原因。在用POCS算法重建的高分辨率图像的深浅区域分界线附近,深色一侧像素的颜色变得更深,浅色一侧像素的颜色变得更浅。产生这种现象的原因是在高分辨初始帧的深色区域图像边缘上,其PSF作用范围内会有浅色像素,因此,这类像素的估计值将会大于实际值,在根据残差对高分辨初始帧进行修正时,会导致深色区域边缘像素颜色变得更深。
[0006] 本发明提出一种基于边缘保持的POCS图像超分辨重建方法。该方法的创新性在于当进行序列低分辨率图像迭代优化前,先对高分辨率初始帧进行边缘检测,对检测到的边缘像素,求取边缘与水平方向的夹角,根据夹角大小的不同而采用不同的PSF,使重建出的高分辨率图像清晰度明显提升的同时,达到良好的边缘保持效果。

发明内容

[0007] 本发明提供了一种可行性高、效果明显的基于边缘保持的POCS图像超分辨重建方法,利用序列低分辨率图像之间的互补信息,可成功重建出一幅目标高分辨率图像。
[0008] 本发明的具体技术方案如下:
[0009] 一种基于边缘保持的POCS图像超分辨重建方法,该方法包括如下步骤:
[0010] 步骤1:对任意一帧低分辨率图像进行双线性插值操作,得到目标高分辨率图像的初始参考帧;对该初始参考帧进行边缘提取,得到其边缘图像;
[0011] 步骤2:选取一帧低分辨率图像,逐一对该低分辨率图像中每个像素点进行处理,即找到相应像素点在高分辨率初始参考帧中PSF作用窗口的中心坐标,判断中心坐标处的像素是否为边缘像素;
[0012] 步骤3:根据步骤2的判断结果,如果是边缘像素,则计算该像素点处的边缘与水平方向的夹角,并根据夹角的大小推导出新的PSF;如果不是边缘像素,则不改变原有的PSF;
[0013] 步骤4:根据步骤3的结果,选取相应的PSF,模拟低分辨率图像的生成过程,由高分辨初始帧估计计算出低分辨率图像的像素值,并计算该像素值与相应原有序列低分辨率图像像素值之间的残差,根据残差对高分辨初始帧做出修正;
[0014] 步骤5:在步骤4完成后,判断是否已经完成了每一帧序列低分辨率图像的每个像素点的处理,若已完成,则重建过程结束;根据具体问题的实际需求,设置合适的总迭代循环次数,在每一次迭代中依次对每一帧序列低分辨率图像应用步骤2至步骤4,最终得到目标高分辨率图像。
[0015] 进一步地,所述步骤1通过边缘检测算子进行边缘提取,所述边缘检测算子包括Sobel算子、Roberts算子或Canny算子中的一种或几种。
[0016] 进一步地,所述步骤3中的PSF是由具体成像系统决定的,高斯模型为:
[0017]
[0018] 上式中,X0和Y0为点扩散函数的中心点坐标,Sh表示支撑域。
[0019] 进一步地,根据检测到的图像边缘方向,PSF的高斯模型优选为:
[0020]
[0021] 上式中,β1和β2分别是PSF模板水平方向与垂直方向的权重系数,GX和Gy分别表示水平方向与垂直方向梯度,检测到的图像边缘与水平方向的夹角θ为:
[0022] θ=arctan(Gy/GX)。
[0023] 进一步地,所述步骤4的具体步骤如下:
[0024] 用fref(s,t)表示当前高分辨率初始参考帧,gl(i,j)表示当前序列低分辨率图像的一帧;逐一对当前低分辨率图像的像素点进行处理,若gl(i,j)中某像素(i0,j0)映射到高分辨率参考帧的PSF作用窗口中心坐标为(s0,t0),则该像素的估计值由下式计算可得;
[0025]
[0026] 该灰度估计值与原有低分辨率图像(i0,j0)处的像素值残差为:
[0027] rl(i0,j0)=gl(i0,j0)‑f(s0,t0)
[0028] 若残差rl(i0,j0)的绝对值大于指定阈值σ0,则对当前高分辨率图像PSF作用窗口中的像素值进行修正,具体修正方法如下式所示:
[0029]
[0030] 本发明的有益效果是:
[0031] 第一,应用本发明提供的方法,可成功由序列低分辨率图像重建出一幅高分辨率图像,该高分辨率图像清晰度相较于原有低分辨率图像有了明显的提升;
[0032] 第二,本发明提供的方法考虑图像边缘重建的特殊性,对边缘处的图像进行特殊处理,使重建图像边缘保持效果良好。

实施方案

[0035] 以下结合图1对本发明方法原理进行详细说明。
[0036] 步骤1:对任意一帧序列低分辨率图像进行双线性插值操作,使其达到所期望的空间分辨率,作为目标高分辨率图像的初始参考帧。
[0037] 对该初始帧进行边缘提取,得到其边缘图像。图像的边缘提取方法有多种,常用的边缘检测算子有Sobel算子、Roberts算子、Canny算子等。在实际应用中,可根据图像的自身特性,依据各种算子的优缺点,选择合适的算子进行边缘提取。本发明涉及边缘提取部分,采用Canny算子对高分辨初始帧进行边缘提取。
[0038] 步骤2:选取一帧低分辨率图像,逐一对该低分辨率图像中每个像素点进行处理,即找到相应像素点在高分辨率初始帧中PSF作用窗口的中心坐标,根据步骤1中边缘提取的结果,判断中心坐标处的像素是否为边缘像素。
[0039] 步骤3:根据步骤2的判断结果,如果是边缘像素,则计算该像素点处的边缘与水平方向的夹角,并根据夹角的大小推导出新的PSF;如果不是边缘像素,则不改变原有的PSF。
[0040] PSF是由具体成像系统决定的,通常可采用最常见的高斯模型:
[0041]
[0042] 上式中,X0和Y0为点扩散函数的中心点坐标,Sh表示支撑域。
[0043] 当检测到的图像边缘趋近于水平方向时,则希望PSF模板水平方向所占权重更大;当检测到的图像边缘趋近于垂直方向时,则希望PSF模板垂直方向所占权重更大。因此,可对PSF做出如下改进:
[0044]
[0045] 上式中β1和β2分别是PSF模板水平方向与垂直方向的权重系数。
[0046] 对于检测到的边缘,本发明使用Sobel模板计算其与水平方向的夹角。用GX和Gy分别表示水平方向与垂直方向梯度,则检测到的图像边缘与水平方向的夹角θ为:
[0047] θ=arctan(Gy/GX) (3)
[0048] 根据以上分析,本发明所设计的改进PSF,其参数β1和β2可随着夹角θ的变化而变化,即当θ=0时,β1=1且β2=0;随着θ的增大,β1随之减小而β2随之增大;当0=90°时,β1=0且β2=1。因此,可定义θ与β1、β2之间的关系如下:
[0049] β1=(π‑2θ)/π,β2=2θ/π (4)
[0050] 把式(4)带入式(2)即可得:
[0051]
[0052] 式(5)即为改进的PSF。本发明的创新性在于通过式(5),可以使边缘处像素的PSF模板水平方向权重系数β1和垂直方向权重系数β2随着边缘与水平方向的夹角θ的不同而自适应调整,从而增强重建高分辨率图像的边缘保持能力。
[0053] 对于检测到的边缘像素,应用上述改进的PSF,进行后续操作。若检测到非边缘像素,则不改变原有PSF,进行后续操作。
[0054] 步骤4:根据步骤3的结果,选取相应的PSF,模拟由高分辨率图像生成低分辨率图像的过程,由高分辨初始帧估计计算出一帧低分辨率图像的像素值,并计算该估计像素值与相应原有序列低分辨率图像像素值之间的残差,根据残差对高分辨初始帧做出修正。
[0055] 用fref(s,t)表示当前高分辨率初始参考帧,gl(i,j)表示当前序列低分辨率图像的一帧。逐一对当前低分辨率图像的像素点进行处理。若gl(i,j)中某像素(i0,j0)映射到高分辨率参考帧的PSF作用窗口中心坐标为(s0,t0),则该像素的估计值由
[0056]
[0057] 计算可得。于是,该灰度估计值与原有低分辨率图像(i0,j0)处的像素值残差为:
[0058] rl(i0,j0)=gl(i0,j0)‑f(s0,t0) (7)
[0059] 对序列低分辨率图像每一个像素点进行处理时,计算获得的残差rl(i0,j0)的绝对值必须限制在预先设置的边界内。若残差rl(i0,j0)的绝对值大于指定阈值σ0,则对当前高分辨率图像PSF作用窗口中的像素值进行修正,具体修正方法如式(8)所示:
[0060]
[0061] 由式(8)计算所得的fref(s,t)即为目标高分辨率图像。在实际应用中,根据具体问题的实际需求,可设置合适的总迭代循环次数,在每一次迭代中依次对每一帧序列低分辨率图像应用步骤2至步骤4,多次迭代优化,最终可得到所需的目标高分辨率图像。
[0062] 本发明实验选取4帧分辨率为256×256的序列低分辨率图像,重建的高分辨率图像是序列低分辨率图像分辨率的2倍,即512×512。
[0063] 图2是应用本发明提供的方法重建出的高分辨率图像前后对比图。
[0064] 由实验结果可以得出:第一,应用本发明提供的方法,成功的由4帧序列低分辨图像重建出了一幅高分辨率图像,该高分辨率图像清晰度相较于原有低分辨率图像有了明显的提升;第二,本发明提供的方法考虑到图像边缘部位重建的特殊性,对图像边缘依据本发明提供的方法进行了特殊处理,使重建获得的高分辨率图像边缘保持效果良好。在图像边缘附近,灰度值变化率较大,计算整幅图像的平均梯度,可用于表征整幅图像以及图像边缘的相对清晰程度。本实验的结果显示,使用本发明提供的基于边缘保持的POCS图像超分辨重建方法,相较于传统的POCS重建方法,可将图像的平均梯度由3.97提高到4.22,提升比率为6.30%,充分证明了本算法的有效性。

附图说明

[0033] 图1是本发明的流程示意图。
[0034] 图2是应用本发明提供的方法重建出的高分辨率图像前后对比图,a)原始低分辨率图像;b)重建的高分辨率图像。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号