首页 > 专利 > 杭州电子科技大学 > 一种基于对偶图的图像超分辨率方法专利详情

一种基于对偶图的图像超分辨率方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2018-02-07
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2018-09-18
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2022-10-18
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2038-02-07
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201810122341.4 申请日 2018-02-07
公开/公告号 CN108447019B 公开/公告日 2022-10-18
授权日 2022-10-18 预估到期日 2038-02-07
申请年 2018年 公开/公告年 2022年
缴费截止日
分类号 G06T3/40 主分类号 G06T3/40
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 4
权利要求数量 5 非专利引证数量 1
引用专利数量 1 被引证专利数量 0
非专利引证 1、2009.09.03Sundaresh Ram et al..Image Super-Resolution Using Graph Regularized BlockSparse Representation《.2016 IEEESouthwest Symposium on Image Analysis andInterpretation (SSIAI)》.2016,第69-72页. 胡彦婷,等.超分辨率重建技术研究进展. 《信息技术》.2017,(第5期),第104-109页. Hu Wei et al..Depth Map Denoisingusing Graph-based Transform and GroupSparsity《.15th IEEE InternationalWorkshop on Multimedia SignalProcessing》.2013,第1-6页. Jian Zhang et al..Group-Based SparseRepresentation for Image Restoration. 《IEEE Transactions on image processing》.2014,第23卷(第8期),第3336-3351页.;
引用专利 US2009219281A 被引证专利
专利权维持 4 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 颜成钢、李志胜、陈立鑫、韩顾稳、张勇东、王建中 第一发明人 颜成钢
地址 浙江省杭州市下沙高教园区2号大街 邮编 310018
申请人数量 1 发明人数量 6
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州君度专利代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
朱月芬
摘要
本发明公开了一种基于对偶图的图像超分辨率方法。本发明通过引进图模型来探索图像内部像素的拓扑特性和自相似性。提出了基于向量的行图模型和基于向量的列图模型,将每个像素看成是一个节点的图模型,而是通过构造相似块组从而将每一列或每一行看成是一个节点,节点间的距离计算即为列向量或行向量之间的欧氏距离。最终得到的超分辨率的表达式的正则项为对偶图,二次项为超分辨组与字典的乘积、待处理组之间的偏差。最后引入了图像正则化技术,将图像处理后的偏差进行一个回传正则化迭代,进一步对提出的方法进行优化。本发明将图模型延伸到了向量节点模式,并非单一的像素节点模式,并应用在了图像超分辨率领域。
  • 摘要附图
    一种基于对偶图的图像超分辨率方法
  • 说明书附图:图1
    一种基于对偶图的图像超分辨率方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2022-10-18 授权
2 2018-09-18 实质审查的生效 IPC(主分类): G06T 3/40 专利申请号: 201810122341.4 申请日: 2018.02.07
3 2018-08-24 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于对偶图的图像超分辨率方法,其特征在于包括如下步骤:
步骤1:设置下采样倍率,对原始图像X使用双三次插值进行下采样和上采样,得到双三次插值的高分辨率图像I,计算此时的PSNR值,并记为PSNR1;
步骤2:将双三次插值后的高分辨率图像I分成若干个重叠小块,对于每一个小块在搜索窗内寻找K个相似块,并拉成列向量,构造相似块组G;
步骤3:针对构造的相似块组G,将其每一个列向量看成是一个节点,构造基于向量的列Graph模型;同时将其每一个行向量看成是一个节点,构造基于向量的行Graph模型;
步骤4:将对偶图作为正则项,设置字典D为单位矩阵,将超分辨率后的组G'与字典D的乘积DG'和相似块组G之间的偏差平方作为二次项,对表达式进行凸优化处理求解;
步骤5:处理完每一个重叠小块对应的相似块组后,采用加权平均对高分辨率图像I进行更新,得到超分辨率图像Y,并计算原始图片X与超分辨率图像Y之间的PSNR值,此时得到的PSNR值记为PSNR2;
步骤6:对得到的超分辨率图像Y进行正则化迭代,多次利用对偶图模型,得到最优的PSNR值;
步骤3具体如下:
Graph模型描述了矩阵内部的特性,主要由各节点组成,节点之间的关系程度可以用加
2 2 T
权矩阵W来表示;图拉普拉斯矩阵L是图||xG||的关键要素,可以用公式||xG|| =tr(xLx)来表示图模型,x为列向量,x的维数代表了节点的个数;构造图模型的关键是构造出图拉普拉斯矩阵,传统的计算拉普拉斯矩阵L的方法决定于加权邻接矩阵W,其计算方式如下L=Δ‑W;而加权矩阵W的计算方式与节点间距离的高斯核有关:
其中dij为节点di与dj之间的相似度,σ为固定值,ε为最小的距离阈值;将25×16的相似块组G的每一列或每一行看成是一个节点构造加权矩阵,dij即为列向量之间的欧式距离;具体的构造基于向量的构造Graph方式如下:
对于25×16相似块组G,即 将G看作
其中 是一个行向量, 与 的欧式距离作为节点 与 之间的相似度,G是一个包含25个行向量的矩阵,计算其相似度,即有
从而得到基于向量的行拉普拉斯矩阵Lr,同理,将相似块组G的每一列看成是一个节点,可得到基于向量的列拉普拉斯矩阵Lc,最终构造出对偶图模型。

2.根据权利要求1所述的一种基于对偶图的图像超分辨率方法,其特征在于步骤2具体如下:
首先将图片I进行分成若干个5×5的重叠小块,重叠的间隔为3,设置局部搜索为10×
10,搜索出16个与其相似的小块,并将各相似小块拉成列向量,得到一个相似块组G;即对于每一个重叠小块均可得到一个25×16的相似块组G,后续的操作会针对相似块组G构造图模型,同时对每一个小块对应的相似块组G进行超分辨率操作。

3.根据权利要求2所述的一种基于对偶图的图像超分辨率方法,其特征在于步骤4具体如下:
首先引入字典D作为稀疏矩阵,并将稀疏矩阵设置为单位矩阵,将步骤3得到的对偶图作为正则项,待恢复的相似块组G与超分辨率后的组G'与稀疏矩阵的乘积DG’作为二次项构造优化方程求解:
其中,θ1与θ2对应的是行图与列图的正则化参数,设置为0.4和0.6;此方程通过优化工具在Matlab中进行求解,最终得到超分辨率后的相似块组。

4.根据权利要求3所述的一种基于对偶图的图像超分辨率方法,其特征在于步骤5具体如下:
图像更新的目的是将处理后的每一个重叠小块对应的相似块组转换成最终的图片,其原理是记录相似块所参与超分辨率的次数进行加权平均更新,得到一次迭代生成的超分辨率图像Y,并计算处理后的超分辨率图像Y与原始图片X之间的PSNR值,此时得到的PSNR值记为PSNR2。

5.根据权利要求4所述的一种基于对偶图的图像超分辨率方法,其特征在于步骤6具体如下:
将每一次处理完后图片的偏差回传到双三次插值超分辨率后的图片,进行迭代操作,得出最优结果,具体的迭代方程如下:
i+1 i
y =y+δ(y‑y)
i
y对应的为第i此迭代对应的超分辨率结果图,设置迭代次数i为5,分别计算5次迭代的结果与原始图的PSNR值,结果表明多次迭代的PSNR值要好于双三次插值的超分辨率PSNR值。
说明书

技术领域

[0001] 本发明属于图像处理领域中的图像超分辨率,主要为了提高图像的分辨率,具体涉及一种基于对偶图的图像超分辨率方法。

背景技术

[0002] 超分辨率(Super Resolution)意味着将一幅低分辨率(Low Resolution)图像转变成一幅高分辨率(High Resolution)图像,通常可以提高图像质量、清晰度。在日常生活中,图像质量会受到相机硬件、相机运动、图像传输过程等方面的限制,清晰度会大大受损,同时随着当今生活水平的快速提高,视频网站作为一种长期娱乐方式,人们对其的图像视频质量要求也越来越高。在科研方面,各领域如生物、医学、天文学等方面对获取的图像质量要求很高,一幅高质量精确的图像对于科研人员进一步研究后续课题意义重大。从而如何用有效、精确的方法提高图像的分辨率成为了当今时代科研人员必不可少的研究课题。
[0003] 常规的图像超分辨率方法是先对一幅图片进行下采样,然后对下采样的图片进行处理得到高分辨率图像。图像超分辨率是一个不确定的逆向问题,方法主要分为三种:基于插值、基于重建和基于学习的方法。插值比较典型的为双三次插值,插值的原理是通过估计图像内部像素间的像素运动并对像素进行非均匀插值得到高分辨率图像;基于重建的方法是通过建立能刻画低分辨率图像和高分辨率图像之间关系的模型,一般采用最大后验概率估计模型,并用此模型对低分辨率图像进行映射得到高分辨率图像;而基于学习的方法是通过训练样本获取高分辨率图像与低分辨率图像之间的先验知识,从而建立相关的映射模型。
[0004] 图模型作为一种探索图像内部特性的方法,在多个领域得到了广泛的应用,如地理图像处理、高光谱图像处理等,将图模型方法引进图像超分辨率领域是之前从未有过的创新,可以进一步地通过探索图像内部的拓扑特性来提高图像的分辨率。同时,基于向量的图模型是常规利用基于像素的图模型的改进,能更有效的对图像进行相关的处理,将基于向量的对偶图模型应用于图像超分辨率领域能更好的发挥图模型的作用。

发明内容

[0005] 本发明提出了一种基于对偶图的图像超分辨率方法,旨在探索图像内部特性进行超分辨率,通过引进图模型来探索图像内部像素的拓扑特性和自相似性。提出了基于向量的行图模型和基于向量的列图模型,区别于传统的将每个像素看成是一个节点的图模型,而是通过构造相似块组从而将每一列或每一行看成是一个节点,节点间的距离计算即为列向量或行向量之间的欧氏距离。最终得到的超分辨率的表达式的正则项为对偶图,二次项为超分辨组与字典的乘积、待处理组之间的偏差。在发明的最后,引入了图像正则化技术,将图像处理后的偏差进行一个回传正则化迭代,进一步对提出的方法进行优化。本发明解决其技术问题所采用的技术方案包括如下步骤:
[0006] 步骤1:设置下采样倍率,对原始图像X使用双三次插值进行下采样和上采样,得到双三次插值的高分辨率图像I,计算此时的PSNR值;
[0007] 步骤2:将双三次插值后的高分辨率图像I分成若干个重叠小块,对于每一个小块在搜索窗内寻找K个相似块,并拉成列向量,构造相似块组G;
[0008] 步骤3:针对构造的相似块组G,将其每一个列向量看成是一个节点,构造基于向量的列Graph模型;同时将其每一个行向量看成是一个节点,构造基于向量的行Graph模型;
[0009] 步骤4:将对偶图(行图和列图)作为正则项,设置字典D为单位矩阵,将相似块组G与字典D的乘积DG'和相似块组G之间的偏差平方作为二次项,对表达式进行凸优化处理求解;
[0010] 步骤5:处理完每一个重叠小块对应的相似块组后,采用加权平均对高分辨率图像I进行更新,得到超分辨率图像Y,并计算原始图片X与经过对偶图模型处理完后的超分辨率图像Y之间的PSNR值;
[0011] 步骤6:对得到的超分辨率图像Y进行正则化迭代,多次利用对偶图模型,得到最优的PSNR值。
[0012] 本发明有益效果如下:
[0013] 本发明的创新性在于将图模型延伸到了向量节点模式,并非单一的像素节点模式,并应用在了图像超分辨率领域,这是图像超分辨率领域的新方法,同时利用了图像的正则化方法,能很好地对图像进行超分辨率操作。

实施方案

[0015] 本发明对于图模型的构造进行了详细的分析,探索了图像内部像素的自相似性和拓扑特性,详细的算法处理步骤如下:
[0016] 步骤一、以Cones测试图片为例,首先对原始图片X利用双三次插值进行下采样并上采样,得到一个经双三次插值的超分辨率图像I,具体为:
[0017] 针对测试图片X,设置倍率为2或3,利用双三次插值对其进行下采样,得到一张低分辨率图片,并在此基础上进行双三次插值上采样,倍率与下采样一样,得到一张与原始测试图片相同大小的经双三次插值得到的高分辨率图像I,并计算原始测试图片X与双三次插值后的高分辨图像I之间的峰值信噪比,记为PSNR1。
[0018] 步骤二、对双三次插值操作的超分辨率图片I中的每一个重叠小块,寻找到K个与其相似的块,并将其每个小块拉长列向量,组成相似块组G,具体的操作如下:
[0019] 首先将图片I进行分成若干个5×5的重叠小块,重叠的间隔为3,设置局部搜索为10×10,搜索出16个与其相似的小块,并将各相似小块拉成列向量,得到一个相似块组G。即对于每一个重叠小块均可得到一个25×16的相似块组G,后续的操作会针对相似块组G构造图模型,同时对每一个小块对应的相似块组G进行超分辨率操作。
[0020] 步骤三、将相似块组的每一列看成是一个节点,构造一个基于向量的列Graph模型,同时将相似块组G的每一行看成是一个节点,构造一个基于向量的行Graph模型,详细的方法如下:
[0021] Graph模型描述了矩阵内部的特性,主要由各节点组成,节点之间的关系程度可以2 2
用加权矩阵W来表示。图拉普拉斯矩阵L是图||xG||的关键要素,可以用公式||xG|| =trT
(xLx)来表示图模型,x通常为列向量,x的维数代表了节点的个数。构造图模型的关键是构造出图拉普拉斯矩阵,传统的计算拉普拉斯矩阵L的方法决定于加权邻接矩阵W,其计算方式如下Δii=∑Wij,L=Δ‑W。而加权矩阵W的计算方式与节点间距离的高斯核有关:
[0022]
[0023] 其中dij为节点di与dj之间的相似度,σ为固定值,ε为最小的距离阈值。在我们的发明中,将25×16的相似块组G的每一列或每一行看成是一个节点构造加权矩阵,dij即为列向量之间的欧式距离。具体的构造基于向量的构造Graph方式如下:
[0024] 对于25×16相似块组G,即 将G看作其中 是一个行向量, 与 的欧式距离作为节点 与 之间的相似度,此时将G看成是多个25个行向量,计算其相似度,即有
[0025]
[0026] 基于向量的图模型节点表达方式可参照图1。通过以上方程,即可得到基于向量的行拉普拉斯矩阵Lr,同理,将相似块组G的每一列看成是一个节点,可得到基于向量的列拉普拉斯矩阵Lc,最终构造出对偶图模型。
[0027] 步骤四、将对偶图作为正则项,构造基于对偶图的图像超分辨率方程,具体操作如下:
[0028] 首先引入稀疏矩阵,并将稀疏矩阵D设置为单位矩阵,将上一步骤得到的对偶图作为正则项,待恢复的相似块组G与超分辨率后的组G'与稀疏矩阵的乘积DG’作为二次项构造优化方程求解:
[0029]
[0030] 其中,θ1与θ2对应的是行图与列图的正则化参数,在我们的发明中设置为0.4和0.6。此方程通凸优化工具在Matlab中进行求解,最终得到超分辨率后的相似块组。
[0031] 步骤五、在处理完每一个重叠小块对应的相似块组之后,进行图像的更新:
[0032] 图像更新的目的是将处理后的每一个重叠小块对应的相似块组转换成最终的图片,其原理是记录相似块所参与超分辨率的次数进行加权平均更新,得到一次迭代生成的图片结果Y,并计算处理后的图片Y与原始图片X之间的PSNR值。
[0033] 步骤六、将图片进行整体正则化迭代,进一步增强图像质量:
[0034] 正则化迭代的原理为将每一次处理完后图片的偏差回传到双三次插值超分辨率后的图片,进行迭代操作,得出最优结果,具体的迭代方程如下:
[0035] yi+1=y+δ(y‑yi)
[0036] yi对应的为第i此迭代对应的超分辨率结果图,设置迭代次数i为5,分别计算5次迭代的结果与原始图的PSNR值,结果表明多次迭代的PSNR值要好于双三次插值的超分辨率PSNR1值。

附图说明

[0014] 图1是构造基于向量的图模型的节点表示。
专利联系人(活跃度排行)
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号