首页 > 专利 > 宁波大学 > 一种绘制图像质量评价方法专利详情

一种绘制图像质量评价方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2019-04-24
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2019-10-08
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2021-06-11
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2039-04-24
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201910333531.5 申请日 2019-04-24
公开/公告号 CN110223268B 公开/公告日 2021-06-11
授权日 2021-06-11 预估到期日 2039-04-24
申请年 2019年 公开/公告年 2021年
缴费截止日
分类号 G06T7/00G06T7/45G06T7/90 主分类号 G06T7/00
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 2
权利要求数量 3 非专利引证数量 1
引用专利数量 0 被引证专利数量 0
非专利引证 1、CN 108805825 A,2018.11.13Qiuping Jiang et. al..Unified No-Reference Quality Assessment of Singlyand Multiply Distorted StereoscopicImages《.IEEE TRANSACTIONS ON IMAGEPROCESSING》.2018,第1866-1881页. 富振奇等.基于深层特征学习的无参考立体图像质量评价《.光电子.激光》.2018,第545-552页.;
引用专利 被引证专利
专利权维持 3 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 宁波大学 当前专利权人 宁波大学
发明人 邵枫、王雪津、李福翠 第一发明人 邵枫
地址 浙江省宁波市江北区风华路818号 邮编 315211
申请人数量 1 发明人数量 3
申请人所在省 浙江省 申请人所在市 浙江省宁波市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
宁波奥圣专利代理有限公司 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
周珏
摘要
本发明公开了一种绘制图像质量评价方法,其在训练阶段,利用尺度不变特征变换流建立原始图像与绘制图像之间的匹配关系,计算绘制图像的纹理失真和几何失真,然后利用支持向量回归对训练集中的由纹理失真和几何失真构成的特征矢量进行训练,构造得到绘制图像的支持向量回归训练模型;在测试阶段,通过计算测试集中的绘制图像的特征矢量,并根据构造的绘制图像的支持向量回归训练模型,预测得到测试集中的绘制图像的客观质量评价预测值,由于获得的特征矢量具有较强的稳定性且能够较好地反映绘制图像的质量变化情况,因此有效地提高了客观评价结果与主观感知之间的相关性。
  • 摘要附图
    一种绘制图像质量评价方法
  • 说明书附图:图1
    一种绘制图像质量评价方法
  • 说明书附图:图2a
    一种绘制图像质量评价方法
  • 说明书附图:图2b
    一种绘制图像质量评价方法
  • 说明书附图:图2c
    一种绘制图像质量评价方法
  • 说明书附图:图2d
    一种绘制图像质量评价方法
  • 说明书附图:图2e
    一种绘制图像质量评价方法
  • 说明书附图:图2f
    一种绘制图像质量评价方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2021-06-11 授权
2 2019-10-08 实质审查的生效 IPC(主分类): G06T 7/00 专利申请号: 201910333531.5 申请日: 2019.04.24
3 2019-09-10 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种绘制图像质量评价方法,其特征在于包括以下步骤:
步骤一:令Iorg表示原始图像,令Isyn表示Iorg对应的绘制图像;将Iorg中坐标位置为(x,y)的像素点的像素值记为Iorg(x,y),将Isyn中坐标位置为(x,y)的像素点的像素值记为Isyn(x,y);其中,1≤x≤W,1≤y≤H,W表示Iorg和Isyn的宽度,H表示Iorg和Isyn的高度;
步骤二:采用SIFT‑Flow方法,建立Iorg与Isyn之间的匹配关系,得到Iorg中的每个像素点的SIFT‑Flow向量,将Iorg中坐标位置为(x,y)的像素点的SIFT‑Flow向量记为然后根据Iorg中的所有像素点的SIFT‑Flow向量,从
Iorg中重构得到重构绘制图像,记为 将 中坐标位置为 的像
素点的像素值记为
其中,用于表示水平方向, 用于表示垂直方向, 表示vO(x,y)的水平偏移量,表示vO(x,y)的垂直偏移量, 中的“=”为赋值
符号;
步骤三:计算Isyn与 的残差图像,记为Idif,将Idif中坐标位置为(x,y)的像素点的像素值记为Idif(x,y), 然后将
Idif划分成 个互不重叠的尺寸大小为16×16的子块;再从Idif中的所有子块中提取出所有属于关键区域的子块,若Idif中的任一个子块中的所有像素点中像素值不为0的像素点的个数大于T2,则确定该子块属于关键区域,将Idif中的所有属于关键区域的子块构成的集合记为 其中,符号“| |”为取绝对值符号, 表示 中坐标位置为(x,y)的像素点的像素值,符号 为向下取整运算符号,T1和T2均为阈值;
步骤四:根据Isyn和 及 计算Isyn的纹理失真,记为Qtex;并根据Iorg中的像素点的SIFT‑Flow向量和Idif中的子块,计算Isyn的几何失真,记为Qgem;
步骤五:根据Qtex和Qgem,获取Isyn的特征矢量,记为Q,Q=[Qtex,Qgem];其中,Q的维数为2×1,[Qtex,Qgem]表示将Qtex和Qgem连接起来形成一个特征矢量;
步骤六:将n幅绘制图像构成绘制图像集合;然后采用主观质量评价方法,获取绘制图像集合中的每幅绘制图像的主观评分差值,将绘制图像集合中的第g1幅绘制图像的主观评分差值记为 并按照步骤一至步骤五的过程,以相同的方式获取绘制图像集合中的每幅绘制图像的特征矢量,将绘制图像集合中的第g1幅绘制图像的特征矢量记为 其中,n为正整数,n>1,g1为正整数,g1的初始值为1,1≤g1≤n, 的维数为2×1;
步骤七:随机选择绘制图像集合中的m幅绘制图像构成训练集,将绘制图像集合中剩余的n‑m幅绘制图像构成测试集;然后将训练集中的所有绘制图像的特征矢量和主观评分差值构成训练样本数据集合;接着采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有特征矢量进行训练,使得经过训练得到的回归函数值与主观评分差值之间的opt opt
误差最小,拟合得到最优的权重矢量w 和最优的偏置项b ;再利用得到的最优的权重矢opt opt
量w 和最优的偏置项b ,构造绘制图像的支持向量回归训练模型,记为f(Finp),其中,m为正整数,m∈[1,n),f()为函数表示形式,Finp表示绘制
图像的支持向量回归训练模型的输入矢量,为绘制图像的特征矢量,Finp的维数为2×1,opt T opt
(w ) 为w 的转置, 表示绘制图像的支持向量回归训练模型的输入矢量Finp的线性函数;
步骤八:将测试集中的所有绘制图像的特征矢量构成测试样本数据集合;然后根据构造得到的绘制图像的支持向量回归训练模型,对测试样本数据集合中的每个特征矢量进行测试,预测得到测试样本数据集合中的每个特征矢量对应的绘制图像的客观质量评价预测值,将测试样本数据集合中的第q个特征矢量对应的绘制图像的客观质量评价预测值记为其中,q为正整数,q的初始值为1,1≤q≤n‑m,Fq
表示测试样本数据集合中的第q个特征矢量,Fq的维数为2×1, 表示Fq的线性函数;
步骤九:重复执行步骤七至步骤八共Num次,并使绘制图像集合中的每幅绘制图像至少有一次属于测试集,经过Num次执行后计算绘制图像集合中的每幅绘制图像的若干个客观质量评价预测值的平均值,再将绘制图像集合中的每幅绘制图像的客观质量评价预测值的平均值作为该幅绘制图像的最终的客观质量评价预测值;其中,Num>1。

2.根据权利要求1所述的一种绘制图像质量评价方法,其特征在于所述的步骤四中的Qtex的获取过程为:
A1、将Isyn和 分别从RGB颜色空间转化为CIELAB颜色空间,三个分量分别为亮度分量、第一色度分量和第二色度分量;
A2、将Isyn的第一色度分量中与 位置对应的区域分割成尺寸大小为2×2的非重叠子块;然后确定Isyn的第一色度分量中的每个非重叠子块的扫描模式,对于Isyn的第一色度分量中的任一个非重叠子块的扫描模式的确定过程为:以Isyn的第一色度分量中的非重叠子块的左上角像素点为起点,将起点作为第1个指向像素点,将剩余的3个像素点中像素值与第1个指向像素点的像素值的差的绝对值最小的一个像素点作为第1个被指向像素点,连接第1个指向像素点与第1个被指向像素点;将第1个被指向像素点作为第2个指向像素点,将剩余的2个像素点中像素值与第2个指向像素点的像素值的差的绝对值最小的一个像素点作为第2个被指向像素点,连接第2个指向像素点与第2个被指向像素点;将第2个被指向像素点作为第3个指向像素点,将剩余的1个像素点作为第3个被指向像素点,连接第3个指向像素点与第3个被指向像素点;将连接4个像素点的连接方式作为Isyn的第一色度分量中的非重叠子块的扫描模式;接着获取Isyn的第一色度分量中的所有非重叠子块的颜色共生矩阵,记为{p(j1,j2)|1≤j1≤J,1≤j2≤J};其中,j1和j2均为正整数,j1和j2的初始值均为1,1≤j1≤J,1≤j2≤J,j1≠j2,J表示扫描模式的总数目,J=6,p(j1,j2)表示Isyn的第一色度分量中扫描模式为第j1种扫描模式的非重叠子块及与其垂直上相邻且扫描模式为第j2种扫描模式的非重叠子块同时出现的概率;
同样,将 的第一色度分量中与 位置对应的区域分割成尺寸大小为2×2的非重叠子块;然后确定 的第一色度分量中的每个非重叠子块的扫描模式,对于 的第一色度分量中的任一个非重叠子块的扫描模式的确定过程为:以 的第一色度分量中的非重叠子块的左上角像素点为起点,将起点作为第1个指向像素点,将剩余的3个像素点中像素值与第1个指向像素点的像素值的差的绝对值最小的一个像素点作为第1个被指向像素点,连接第1个指向像素点与第1个被指向像素点;将第1个被指向像素点作为第2个指向像素点,将剩余的2个像素点中像素值与第2个指向像素点的像素值的差的绝对值最小的一个像素点作为第2个被指向像素点,连接第2个指向像素点与第2个被指向像素点;将第2个被指向像素点作为第3个指向像素点,将剩余的1个像素点作为第3个被指向像素点,连接第3个指向像素点与第3个被指向像素点;将连接4个像素点的连接方式作为 的第一色度分量中的非重叠子块的扫描模式;接着获取 的第一色度分量中的所有非重叠子块的颜色共生矩阵,记为 其中, 表示 的第一色度分量中扫描模式
为第j1种扫描模式的非重叠子块及与其垂直上相邻且扫描模式为第j2种扫描模式的非重叠子块同时出现的概率;
A3、根据{p(j1,j2)|1≤j1≤J,1≤j2≤J}和 计算Qtex,Qtex
=log2(δmax+1),其中, 符号“| |”为取绝对值符号,max()为
取最大值函数。

3.根据权利要求1或2所述的一种绘制图像质量评价方法,其特征在于所述的步骤四中的Qgem的获取过程为:
B1、将Iorg划分成 个互不重叠的尺寸大小为16×16的四边形网格,将Iorg中的第k个四边形网格记为UO,k,UO,k以其左上、左下、右上和右下4个网格顶点的集合来描述,其中,符号 为向下取整运算符号,k为正整数,k的初始值
为1,1≤k≤M, 对应表示UO,k的左上网格顶点、左下网格
顶点、右上网格顶点、右下网格顶点, 以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置 来描述,
以 的水平坐标位置 和垂直坐标位置 来描述,
以 的水平坐标位置 和垂直坐标位置 来描述,
B2、根据Iorg中的每个四边形网格的所有网格顶点的SIFT‑Flow向量,得到Iorg中的每个四边形网格在Isyn中匹配的四边形网格,将UO,k在Isyn中匹配的四边形网格记为然后计算Iorg中的每个四边形网格的相似性变换矩阵,将UO,k的
相似性变换矩阵记为 其中, 对应
表示 的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点, 也即为 在Isyn中匹配的网格顶点, 也即为 在Isyn中匹配的网格顶点, 也即为 在Isyn中匹配的网格顶点, 也即为 在Isyn中匹配的网格顶点, 以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位
置 来描述, 以 的水平坐标位置 和垂直坐标位置 来描
述, 以 的水平坐标位置 和垂直坐标位置 来描述,
表示 的SIFT‑Flow向量 的水平偏移
量, 表示 的SIFT‑Flow向量 的垂直偏移量, 表示
的SIFT‑Flow向量 的水平偏移量, 表示 的SIFT‑Flow向量
的垂直偏移量, 表示 的SIFT‑Flow向量 的水平偏
移量, 表示 的SIFT‑Flow向量 的垂直偏移量, 表示
的SIFT‑Flow向量 的水平偏移量, 表示 的SIFT‑Flow向量
T
的垂直偏移量, (AO,k) 为AO,k的转置,
T ‑1 T
((AO,k) AO,k) 为(AO,k) AO,k的逆, 的维数为6×1;
B3、根据Iorg中的每个四边形网格的相似性变换矩阵,计算Iorg中的每个四边形网格的几何失真,将UO,k的几何失真记为ζO,k,
其中,
表示 中的第1个元素, 表示 中的第2个元素, 表示 中的第4个
元素, 表示 中的第5个元素;
B4、根据Iorg中的每个四边形网格的几何失真,计算Qgem,
其中,SO(k)表示Idif中与UO,k位置对应的子块中的所有像素点的像素值的均值。
说明书

技术领域

[0001] 本发明涉及一种图像质量评价技术,尤其是涉及一种绘制图像质量评价方法。

背景技术

[0002] 三维视频(Three‑Dimensional Video,3DV)是一种先进的视觉模式,其使人们在屏幕上观看图像时富有立体感和沉浸感,可以满足人们从不同角度观看三维(3D)场景的需求。通常,三维视频系统主要包括视频捕获、视频编码、传输解码、虚拟视点绘制和交互显示等模块。基于深度图像的绘制(Depth Image Based Rendering,DIBR)是一种利用参考视点的彩色图像所对应的深度图像绘制生成虚拟视点图像的方法,其通过利用参考视点的彩色图像及该参考视点的彩色图像中的每个像素点对应的深度信息来合成三维场景的虚拟视点图像。由于DIBR将场景的深度信息引入到虚拟视点图像绘制中,因此大大减少了虚拟视点图像绘制所需的参考视点的数目。
[0003] 与传统的二维图像相比,彩色图像质量、深度图像质量及空洞填充方法都会影响虚拟视点图像质量,例如,彩色图像的失真会直接影响绘制的虚拟视点图像的质量,深度图像的编码失真会导致绘制的虚拟视点图像与真实图像之间会存在几何失真(也称为结构位置失真),同时空洞填充会在绘制的虚拟视点图像中产生纹理失真,因此,如何在绘制的虚拟视点图像质量的评价过程中有效地提取出纹理失真和几何失真,是在对绘制的虚拟视点图像进行客观质量评价过程中需要研究解决的问题。

发明内容

[0004] 本发明所要解决的技术问题是提供一种绘制图像质量评价方法,其能够有效地提高客观评价结果与主观感知之间的相关性。
[0005] 本发明解决上述技术问题所采用的技术方案为:一种绘制图像质量评价方法,其特征在于包括以下步骤:
[0006] 步骤一:令Iorg表示原始图像,令Isyn表示Iorg对应的绘制图像;将Iorg中坐标位置为(x,y)的像素点的像素值记为Iorg(x,y),将Isyn中坐标位置为(x,y)的像素点的像素值记为Isyn(x,y);其中,1≤x≤W,1≤y≤H,W表示Iorg和Isyn的宽度,H表示Iorg和Isyn的高度;
[0007] 步骤二:采用SIFT‑Flow方法,建立Iorg与Isyn之间的匹配关系,得到Iorg中的每个像素点的SIFT‑Flow向量,将Iorg中坐标位置为(x,y)的像素点的SIFT‑Flow向量记为vO(x,y),然后根据Iorg中的所有像素点的SIFT‑Flow向量,从Iorg中重构得到重构绘制图像,记为 将 中坐标位置为 的像素点的像素
值记为 其中, 用于
表示水平方向, 用于表示垂直方向, 表示vO(x,y)的水平偏移量, 表示vO
(x,y)的垂直偏移量, 中的“=”为赋值符号;
[0008] 步骤三:计算Isyn与 的残差图像,记为Idif,将Idif中坐标位置为(x,y)的像素点的像素值记为Idif(x,y),然后将Idif划分成 个互不重叠的尺寸大小为16×16的子块;再从Idif中的所有子块中提取出所有属于关键区域的子块,若Idif中的任一个子块中的所有像素点中像素值不为0的像素点的个数大于T2,则确定该子块属于关键区域,将Idif中的所有属于关键区域的子块构成的集合记为 其中,符号“||”为取绝对值符号, 表示 中坐标位置为(x,y)的像素点的像素值,符号 为向下取整运算符号,T1和T2均为阈值;
[0009] 步骤四:根据Isyn和 及 计算Isyn的纹理失真,记为Qtex;并根据Iorg中的像素点的SIFT‑Flow向量和Idif中的子块,计算Isyn的几何失真,记为Qgem;
[0010] 步骤五:根据Qtex和Qgem,获取Isyn的特征矢量,记为Q,Q=[Qtex,Qgem];其中,Q的维数为2×1,[Qtex,Qgem]表示将Qtex和Qgem连接起来形成一个特征矢量;
[0011] 步骤六:将n幅绘制图像构成绘制图像集合;然后采用主观质量评价方法,获取绘制图像集合中的每幅绘制图像的主观评分差值,将绘制图像集合中的第g1幅绘制图像的主观评分差值记为 并按照步骤一至步骤五的过程,以相同的方式获取绘制图像集合中的每幅绘制图像的特征矢量,将绘制图像集合中的第g1幅绘制图像的特征矢量记为其中,n为正整数,n>1,g1为正整数,g1的初始值为1,1≤g1≤n,MOSg1∈[0,5], 的维数为2×1;
[0012] 步骤七:随机选择绘制图像集合中的m幅绘制图像构成训练集,将绘制图像集合中剩余的n‑m幅绘制图像构成测试集;然后将训练集中的所有绘制图像的特征矢量和主观评分差值构成训练样本数据集合;接着采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有特征矢量进行训练,使得经过训练得到的回归函数值与主观评分差值之opt opt间的误差最小,拟合得到最优的权重矢量w 和最优的偏置项b ;再利用得到的最优的权opt opt
重矢量w 和最优的偏置项b ,构造绘制图像的支持向量回归训练模型,记为f(Finp),其中,m为正整数,m∈[1,n),f()为函数表示形式,Finp表示绘制
图像的支持向量回归训练模型的输入矢量,为绘制图像的特征矢量,Finp的维数为2×1,opt T opt
(w ) 为w 的转置, 表示绘制图像的支持向量回归训练模型的输入矢量Finp的线性函数;
[0013] 步骤八:将测试集中的所有绘制图像的特征矢量构成测试样本数据集合;然后根据构造得到的绘制图像的支持向量回归训练模型,对测试样本数据集合中的每个特征矢量进行测试,预测得到测试样本数据集合中的每个特征矢量对应的绘制图像的客观质量评价预测值,将测试样本数据集合中的第q个特征矢量对应的绘制图像的客观质量评价预测值记为 其中,q为正整数,q的初始值为1,1≤q≤n‑m,Fq表示测试样本数据集合中的第q个特征矢量,Fq的维数为2×1, 表示Fq的线性函数;
[0014] 步骤九:重复执行步骤七至步骤八共Num次,并使绘制图像集合中的每幅绘制图像至少有一次属于测试集,经过Num次执行后计算绘制图像集合中的每幅绘制图像的若干个客观质量评价预测值的平均值,再将绘制图像集合中的每幅绘制图像的客观质量评价预测值的平均值作为该幅绘制图像的最终的客观质量评价预测值;其中,Num>1。
[0015] 所述的步骤四中的Qtex的获取过程为:
[0016] A1、将Isyn和 分别从RGB颜色空间转化为CIELAB颜色空间,三个分量分别为亮度分量、第一色度分量和第二色度分量;
[0017] A2、将Isyn的第一色度分量中与 位置对应的区域分割成尺寸大小为2×2的非重叠子块;然后确定Isyn的第一色度分量中的每个非重叠子块的扫描模式,对于Isyn的第一色度分量中的任一个非重叠子块的扫描模式的确定过程为:以该非重叠子块的左上角像素点为起点,将起点作为第1个指向像素点,将剩余的3个像素点中像素值与第1个指向像素点的像素值的差的绝对值最小的一个像素点作为第1个被指向像素点,连接第1个指向像素点与第1个被指向像素点;将第1个被指向像素点作为第2个指向像素点,将剩余的2个像素点中像素值与第2个指向像素点的像素值的差的绝对值最小的一个像素点作为第2个被指向像素点,连接第2个指向像素点与第2个被指向像素点;将第2个被指向像素点作为第3个指向像素点,将剩余的1个像素点作为第3个被指向像素点,连接第3个指向像素点与第3个被指向像素点;将连接4个像素点的连接方式作为该非重叠子块的扫描模式;接着获取Isyn的第一色度分量中的所有非重叠子块的颜色共生矩阵,记为{p(j1,j2)|1≤j1≤J,1≤j2≤J};其中,j1和j2均为正整数,j1和j2的初始值均为1,1≤j1≤J,1≤j2≤J,j1≠j2,J表示扫描模式的总数目,J=6,p(j1,j2)表示Isyn的第一色度分量中扫描模式为第j1种扫描模式的非重叠子块及与其垂直上相邻且扫描模式为第j2种扫描模式的非重叠子块同时出现的概率;
[0018] 同样,将 的第一色度分量中与 位置对应的区域分割成尺寸大小为2×2的非重叠子块;然后确定 的第一色度分量中的每个非重叠子块的扫描模式,对于 的第一色度分量中的任一个非重叠子块的扫描模式的确定过程为:以该非重叠子块的左上角像素点为起点,将起点作为第1个指向像素点,将剩余的3个像素点中像素值与第1个指向像素点的像素值的差的绝对值最小的一个像素点作为第1个被指向像素点,连接第1个指向像素点与第1个被指向像素点;将第1个被指向像素点作为第2个指向像素点,将剩余的2个像素点中像素值与第2个指向像素点的像素值的差的绝对值最小的一个像素点作为第2个被指向像素点,连接第2个指向像素点与第2个被指向像素点;将第2个被指向像素点作为第3个指向像素点,将剩余的1个像素点作为第3个被指向像素点,连接第3个指向像素点与第3个被指向像素点;将连接4个像素点的连接方式作为该非重叠子块的扫描模式;接着获取 的第一色度分量中的所有非重叠子块的颜色共生矩阵,记为其中, 表示 的第一色度分量中扫描模式为第j1种扫描模式的非重叠子块及与其垂直上相邻且扫描模式为第j2种扫描模式的非重叠子块同时出现的概率;
[0019] A3、根据{p(j1,j2)|1≤j1≤J,1≤j2≤J}和 计算Qtex,Qtex=log2(δmax+1),其中, 符号“||”为取绝对值符号,
max()为取最大值函数。
[0020] 所述的步骤四中的Qgem的获取过程为:
[0021] B1、将Iorg划分成 个互不重叠的尺寸大小为16×16的四边形网格,将Iorg中的第k个四边形网格记为UO,k,UO,k以其左上、左下、右上和右下4个网格顶点的集合来描述, 其中,符号 为向下取整运算符号,k为正整数,k的
初始值为1,1≤k≤M, 对应表示UO,k的左上网格顶点、左
下网格顶点、右上网格顶点、右下网格顶点, 以 的水平坐标位置 和垂直坐标位置来描述, 以 的水平坐标位置 和垂直坐标位置 来描述,
以 的水平坐标位置 和垂直坐标位置 来描述,
以 的水平坐标位置 和垂直坐标位置 来描述,
[0022] B2、根据Iorg中的每个四边形网格的所有网格顶点的SIFT‑Flow向量,得到Iorg中的每个四边形网格在Isyn中匹配的四边形网格,将UO,k在Isyn中匹配的四边形网格记为然后计算Iorg中的每个四边形网格的相似性变换矩阵,将UO ,k 的 相似 性 变 换矩 阵 记 为 其 中 ,
对应表示 的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶
点, 也即为 在Isyn中匹配的网格顶点, 也即为 在Isyn中匹配的网格顶点,
也即为 在Isyn中匹配的网格顶点, 也即为 在Isyn中匹配的网格顶点, 以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位
置 和垂直坐标位置 来描述, 以 的水平坐标位置 和垂
直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置
来描述,
表示 的SIFT‑Flow向量 的水平偏移
量, 表示 的SIFT‑Flow向量 的垂直偏移量, 表示
的SIFT‑Flow向量 的水平偏移量, 表示 的SIFT‑Flow向量
的垂直偏移量, 表示 的SIFT‑Flow向量 的水平偏
移量, 表示 的SIFT‑Flow向量 的垂直偏移量, 表示
的SIFT‑Flow向量 的水平偏移量, 表示 的SIFT‑Flow向量
T
的垂直偏移量, (AO,k) 为AO,k的转置,
T ‑1 T
((AO,k) AO,k) 为(AO,k) AO,k的逆, 的维数为6×1;
[0023] B3、根据Iorg中的每个四边形网格的相似性变换矩阵,计算Iorg中的每个四边形网格的几何失真,将UO,k的几何失真记为ζO,k,;其中,
表示 中的第1个元素, 表示 中的第2个元素, 表示 中的第4个
元素, 表示 中的第5个元素;
[0024] B4 、根据 Io rg 中的 每个 四边 形网 格的 几何 失真 ,计 算Q g em ,其中,SO(k)表示Idif中与UO,k位置对应的子块中的所有像素点的像素值的均值。
[0025] 与现有技术相比,本发明的优点在于:
[0026] 本发明方法利用尺度不变特征变换流建立原始图像与绘制图像之间的匹配关系,计算绘制图像的纹理失真和几何失真,然后利用支持向量回归对训练集中的由纹理失真和几何失真构成的特征矢量进行训练,构造得到绘制图像的支持向量回归训练模型;在测试阶段,通过计算测试集中的绘制图像的特征矢量,并根据构造的绘制图像的支持向量回归训练模型,预测得到测试集中的绘制图像的客观质量评价预测值,由于获得的特征矢量具有较强的稳定性且能够较好地反映绘制图像的质量变化情况,因此有效地提高了客观评价结果与主观感知之间的相关性。

实施方案

[0034] 以下结合附图实施例对本发明作进一步详细描述。
[0035] 本发明提出的一种绘制图像质量评价方法,其总体实现框图如图1所示,其包括以下步骤:
[0036] 步骤一:令Iorg表示原始图像,令Isyn表示Iorg对应的绘制图像;将Iorg中坐标位置为(x,y)的像素点的像素值记为Iorg(x,y),将Isyn中坐标位置为(x,y)的像素点的像素值记为Isyn(x,y);其中,1≤x≤W,1≤y≤H,W表示Iorg和Isyn的宽度,H表示Iorg和Isyn的高度。
[0037] 步骤二:采用现有的SIFT‑Flow(Scale‑Invariant Feature Transform Flow,尺度不变特征变换流)方法,建立Iorg与Isyn之间的匹配关系,得到Iorg中的每个像素点的SIFT‑Flow向量,将Iorg中坐标位置为(x,y)的像素点的SIFT‑Flow向量记为vO(x,y),然后根据Iorg中的所有像素点的SIFT‑Flow向量,从Iorg中重构得到重构绘制图像,记为 将 中坐标位置为 的像素点的像素
值记为 其中,用于表
示水平方向, 用于表示垂直方向, 表示vO(x,y)的水平偏移量, 表示vO(x,y)的垂直偏移量, 中的“=”为赋值符号。
[0038] 步骤三:计算Isyn与 的残差图像,记为Idif,将Idif中坐标位置为(x,y)的像素点的像素值记为Idif(x,y),然后将Idif划分成 个互不重叠的尺寸大小为16×16的子块;再从Idif中的所有子块中提取出所有属于关键区域的子块,若Idif中的任一个子块中的所有像素点中像素值不为0的像素点的个数大于T2,则确定该子块属于关键区域,将Idif中的所有属于关键区域的子块构成的集合记为 其中,符号“||”为取绝对值符号, 表示 中坐标位置为(x,y)的像素点的像素值,符号 为向下取整运算符号,T1和T2均为阈值,在本实施例中取T1=40、T2=32。
[0039] 步骤四:根据Isyn和 及 计算Isyn的纹理失真,记为Qtex;并根据Iorg中的像素点的SIFT‑Flow向量和Idif中的子块,计算Isyn的几何失真,记为Qgem。
[0040] 在本实施例中,步骤四中的Qtex的获取过程为:
[0041] A1、将Isyn和 分别从RGB颜色空间转化为CIELAB颜色空间,三个分量分别为亮度分量、第一色度分量(指分量a)和第二色度分量(指分量b)。
[0042] A2、将Isyn的第一色度分量中与 位置对应的区域分割成尺寸大小为2×2的非重叠子块;然后确定Isyn的第一色度分量中的每个非重叠子块的扫描模式,对于Isyn的第一色度分量中的任一个非重叠子块的扫描模式的确定过程为:以该非重叠子块的左上角像素点为起点,将起点作为第1个指向像素点,将剩余的3个像素点中像素值与第1个指向像素点的像素值的差的绝对值最小的一个像素点作为第1个被指向像素点,连接第1个指向像素点与第1个被指向像素点;将第1个被指向像素点作为第2个指向像素点,将剩余的2个像素点中像素值与第2个指向像素点的像素值的差的绝对值最小的一个像素点作为第2个被指向像素点,连接第2个指向像素点与第2个被指向像素点;将第2个被指向像素点作为第3个指向像素点,将剩余的1个像素点作为第3个被指向像素点,连接第3个指向像素点与第3个被指向像素点;将连接4个像素点的连接方式作为该非重叠子块的扫描模式;接着获取Isyn的第一色度分量中的所有非重叠子块的颜色共生矩阵,记为{p(j1,j2)|1≤j1≤J,1≤j2≤J};其中,j1和j2均为正整数,j1和j2的初始值均为1,1≤j1≤J,1≤j2≤J,j1≠j2,J表示扫描模式的总数目,J=6,p(j1,j2)表示Isyn的第一色度分量中扫描模式为第j1种扫描模式的非重叠子块及与其垂直上相邻且扫描模式为第j2种扫描模式的非重叠子块同时出现的概率。
[0043] 同样,将 的第一色度分量中与 位置对应的区域分割成尺寸大小为2×2的非重叠子块;然后确定 的第一色度分量中的每个非重叠子块的扫描模式,对于 的第一色度分量中的任一个非重叠子块的扫描模式的确定过程为:以该非重叠子块的左上角像素点为起点,将起点作为第1个指向像素点,将剩余的3个像素点中像素值与第1个指向像素点的像素值的差的绝对值最小的一个像素点作为第1个被指向像素点,连接第1个指向像素点与第1个被指向像素点;将第1个被指向像素点作为第2个指向像素点,将剩余的2个像素点中像素值与第2个指向像素点的像素值的差的绝对值最小的一个像素点作为第2个被指向像素点,连接第2个指向像素点与第2个被指向像素点;将第2个被指向像素点作为第3个指向像素点,将剩余的1个像素点作为第3个被指向像素点,连接第3个指向像素点与第3个被指向像素点;将连接4个像素点的连接方式作为该非重叠子块的扫描模式;接着获取 的第一色度分量中的所有非重叠子块的颜色共生矩阵,记为 其中, 表示 的第一色度分量中扫描模式为第j1种扫描模式的非重叠子块及与其垂直上相邻且扫描模式为第j2种扫描模式的非重叠子块同时出现的概率。
[0044] 对于一个尺寸大小为2×2的子块,且在起点确定的情况下,那么该子块的扫描模式只有6种(即J=6),图2a至图2f给出了这6种扫描模式的示意图。在此,对于任一个非重叠子块,与其垂直上相邻的非重叠子块,为该非重叠子块上方且相邻的非重叠子块。
[0045] A3、根据{p(j1,j2)|1≤j1≤J,1≤j2≤J}和 计算Qtex,Qtex=log2(δmax+1),其中, 符号“||”为取绝对值符号,
max()为取最大值函数。
[0046] 在本实施例中,步骤四中的Qgem的获取过程为:
[0047] B1、将Iorg划分成 个互不重叠的尺寸大小为16×16的四边形网格,将Iorg中的第k个四边形网格记为UO,k,UO,k以其左上、左下、右上和右下4个网格顶点的集合来描述, 其中,符号 为向下取整运算符号,k为正整数,k的
初始值为1,1≤k≤M, 对应表示UO,k的左上网格顶点、左
下网格顶点、右上网格顶点、右下网格顶点, 以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置 来
描述, 以 的水平坐标位置 和垂直坐标位置 来描述,
以 的水平坐标位置 和垂直坐标位置 来描述,
[0048] B2、根据Iorg中的每个四边形网格的所有网格顶点的SIFT‑Flow向量,得到Iorg中的每个四边形网格在Isyn中匹配的四边形网格,将UO,k在Isyn中匹配的四边形网格记为然后计算Iorg中的每个四边形网格的相似性变换矩阵,将UO ,k的 相似 性变 换 矩阵 记 为 其 中 ,
对应表示 的左上网格顶点、左下网格顶点、右上网格顶点、右下网格
顶点, 也即为 在Isyn中匹配的网格顶点, 也即为 在Isyn中匹配的网格顶点,也即为 在Isyn中匹配的网格顶点, 也即为 在Isyn中匹配的网格顶点, 以
的水平坐标位置 和垂直坐标位置 来描述, 以 的水平
坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置
和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直
坐标位置 来描述,
表示 的SIFT‑Flow向量 的水平偏移
量, 表示 的SIFT‑Flow向量 的垂直偏移量, 表示
的SIFT‑Flow向量 的水平偏移量, 表示 的SIFT‑Flow向量
的垂直偏移量, 表示 的SIFT‑Flow向量 的水平偏
移量, 表示 的SIFT‑Flow向量 的垂直偏移量, 表示
的SIFT‑Flow向量 的水平偏移量, 表示 的SIFT‑Flow向量
T
的垂直偏移量, (AO,k) 为AO,k的转置,
T ‑1 T
((AO,k) AO,k) 为(AO,k) AO,k的逆, 的维数为6×1。
[0049] B3、根据Iorg中的每个四边形网格的相似性变换矩阵,计算Iorg中的每个四边形网格的几何失真,将UO,k的几何失真记为ζO,k,;其中,
表示 中的第1个元素, 表示 中的第2个元素, 表示 中的第4个
元素, 表示 中的第5个元素。
[0050] B4 、根据 Io rg 中的 每个 四边 形网 格的 几何 失真 ,计 算Q g em ,其中,SO(k)表示Idif中与UO,k位置对应的子块中的所有像素点的像素值的均值。
[0051] 步骤五:根据Qtex和Qgem,获取Isyn的特征矢量,记为Q,Q=[Qtex,Qgem];其中,Q的维数为2×1,[Qtex,Qgem]表示将Qtex和Qgem连接起来形成一个特征矢量。
[0052] 步骤六:将n幅绘制图像构成绘制图像集合;然后采用现有的主观质量评价方法,获取绘制图像集合中的每幅绘制图像的主观评分差值,将绘制图像集合中的第g1幅绘制图像的主观评分差值记为 并按照步骤一至步骤五的过程,以相同的方式获取绘制图像集合中的每幅绘制图像的特征矢量,将绘制图像集合中的第g1幅绘制图像的特征矢量记为 其中,n为正整数,n>1,g1为正整数,g1的初始值为1,1≤g1≤n, 的维数为2×1。
[0053] 步骤七:随机选择绘制图像集合中的m幅绘制图像构成训练集,将绘制图像集合中剩余的n‑m幅绘制图像构成测试集;然后将训练集中的所有绘制图像的特征矢量和主观评分差值构成训练样本数据集合;接着采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有特征矢量进行训练,使得经过训练得到的回归函数值与主观评分差值之opt opt间的误差最小,拟合得到最优的权重矢量w 和最优的偏置项b ;再利用得到的最优的权opt opt
重矢量w 和最优的偏置项b ,构造绘制图像的支持向量回归训练模型,记为f(Finp),其中,m为正整数,m∈[1,n),f()为函数表示形式,Finp表示绘制
图像的支持向量回归训练模型的输入矢量,为绘制图像的特征矢量,Finp的维数为2×1,opt T opt
(w ) 为w 的转置, 表示绘制图像的支持向量回归训练模型的输入矢量Finp的线性函数。
[0054] 步骤八:将测试集中的所有绘制图像的特征矢量构成测试样本数据集合;然后根据构造得到的绘制图像的支持向量回归训练模型,对测试样本数据集合中的每个特征矢量进行测试,预测得到测试样本数据集合中的每个特征矢量对应的绘制图像的客观质量评价预测值,将测试样本数据集合中的第q个特征矢量对应的绘制图像的客观质量评价预测值记为 其中,q为正整数,q的初始值为1,1≤q≤n‑m,Fq表示测试样本数据集合中的第q个特征矢量,Fq的维数为2×1, 表示Fq的线性函数。
[0055] 步骤九:重复执行步骤七至步骤八共Num次,并使绘制图像集合中的每幅绘制图像至少有一次属于测试集,经过Num次执行后计算绘制图像集合中的每幅绘制图像的若干个客观质量评价预测值的平均值,再将绘制图像集合中的每幅绘制图像的客观质量评价预测值的平均值作为该幅绘制图像的最终的客观质量评价预测值;其中,Num>1,在本实施例中取Num=1000。
[0056] 为了进一步说明本发明方法的可行性和有效性,对本发明方法进行试验。
[0057] 在本实施例中,采用本发明方法对IRCCyN/IVC、IETR和MCL‑3D绘制图像质量评价库进行测试。IRCCyN/IVC绘制图像质量评价库包括84幅绘制图像,IETR绘制图像质量评价库包括140幅绘制图像,MCL‑3D绘制图像质量评价库包含693幅绘制图像。利用评估图像质量评价方法的2个常用客观参量作为评价指标,即非线性回归条件下的Pearson线性相关系数(Pearson linear correlation coefficient,PLCC)和Spearman秩等级相关系数(Spearman rank order correlation coefficient,SROCC)。PLCC和SROCC越高说明本发明方法的评价结果与主观评分差值的相关性越好。表1给出了本发明方法得到的最终的客观质量评价预测值与主观评分差值之间的相关性。
[0058] 表1采用本发明方法得到的最终的客观质量评价预测值与主观评分差值之间的相关性
[0059]绘制图像质量评价库 PLCC SROCC
IRCCyN/IVC 0.7734 0.7520
IETR 0.7241 0.6891
MCL‑3D 0.7946 0.7883
[0060] 从表1中可以看出,采用本发明方法得到的绘制图像的最终的客观质量评价预测值与主观评分差值之间的相关性是很高的,表明客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的有效性。

附图说明

[0027] 图1为本发明方法的总体实现框图;
[0028] 图2a为第1种扫描模式的示意图;
[0029] 图2b为第2种扫描模式的示意图;
[0030] 图2c为第3种扫描模式的示意图;
[0031] 图2d为第4种扫描模式的示意图;
[0032] 图2e为第5种扫描模式的示意图;
[0033] 图2f为第6种扫描模式的示意图。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号