[0034] 以下结合附图实施例对本发明作进一步详细描述。
[0035] 本发明提出的一种绘制图像质量评价方法,其总体实现框图如图1所示,其包括以下步骤:
[0036] 步骤一:令Iorg表示原始图像,令Isyn表示Iorg对应的绘制图像;将Iorg中坐标位置为(x,y)的像素点的像素值记为Iorg(x,y),将Isyn中坐标位置为(x,y)的像素点的像素值记为Isyn(x,y);其中,1≤x≤W,1≤y≤H,W表示Iorg和Isyn的宽度,H表示Iorg和Isyn的高度。
[0037] 步骤二:采用现有的SIFT‑Flow(Scale‑Invariant Feature Transform Flow,尺度不变特征变换流)方法,建立Iorg与Isyn之间的匹配关系,得到Iorg中的每个像素点的SIFT‑Flow向量,将Iorg中坐标位置为(x,y)的像素点的SIFT‑Flow向量记为vO(x,y),然后根据Iorg中的所有像素点的SIFT‑Flow向量,从Iorg中重构得到重构绘制图像,记为 将 中坐标位置为 的像素点的像素
值记为 其中,用于表
示水平方向, 用于表示垂直方向, 表示vO(x,y)的水平偏移量, 表示vO(x,y)的垂直偏移量, 中的“=”为赋值符号。
[0038] 步骤三:计算Isyn与 的残差图像,记为Idif,将Idif中坐标位置为(x,y)的像素点的像素值记为Idif(x,y),然后将Idif划分成 个互不重叠的尺寸大小为16×16的子块;再从Idif中的所有子块中提取出所有属于关键区域的子块,若Idif中的任一个子块中的所有像素点中像素值不为0的像素点的个数大于T2,则确定该子块属于关键区域,将Idif中的所有属于关键区域的子块构成的集合记为 其中,符号“||”为取绝对值符号, 表示 中坐标位置为(x,y)的像素点的像素值,符号 为向下取整运算符号,T1和T2均为阈值,在本实施例中取T1=40、T2=32。
[0039] 步骤四:根据Isyn和 及 计算Isyn的纹理失真,记为Qtex;并根据Iorg中的像素点的SIFT‑Flow向量和Idif中的子块,计算Isyn的几何失真,记为Qgem。
[0040] 在本实施例中,步骤四中的Qtex的获取过程为:
[0041] A1、将Isyn和 分别从RGB颜色空间转化为CIELAB颜色空间,三个分量分别为亮度分量、第一色度分量(指分量a)和第二色度分量(指分量b)。
[0042] A2、将Isyn的第一色度分量中与 位置对应的区域分割成尺寸大小为2×2的非重叠子块;然后确定Isyn的第一色度分量中的每个非重叠子块的扫描模式,对于Isyn的第一色度分量中的任一个非重叠子块的扫描模式的确定过程为:以该非重叠子块的左上角像素点为起点,将起点作为第1个指向像素点,将剩余的3个像素点中像素值与第1个指向像素点的像素值的差的绝对值最小的一个像素点作为第1个被指向像素点,连接第1个指向像素点与第1个被指向像素点;将第1个被指向像素点作为第2个指向像素点,将剩余的2个像素点中像素值与第2个指向像素点的像素值的差的绝对值最小的一个像素点作为第2个被指向像素点,连接第2个指向像素点与第2个被指向像素点;将第2个被指向像素点作为第3个指向像素点,将剩余的1个像素点作为第3个被指向像素点,连接第3个指向像素点与第3个被指向像素点;将连接4个像素点的连接方式作为该非重叠子块的扫描模式;接着获取Isyn的第一色度分量中的所有非重叠子块的颜色共生矩阵,记为{p(j1,j2)|1≤j1≤J,1≤j2≤J};其中,j1和j2均为正整数,j1和j2的初始值均为1,1≤j1≤J,1≤j2≤J,j1≠j2,J表示扫描模式的总数目,J=6,p(j1,j2)表示Isyn的第一色度分量中扫描模式为第j1种扫描模式的非重叠子块及与其垂直上相邻且扫描模式为第j2种扫描模式的非重叠子块同时出现的概率。
[0043] 同样,将 的第一色度分量中与 位置对应的区域分割成尺寸大小为2×2的非重叠子块;然后确定 的第一色度分量中的每个非重叠子块的扫描模式,对于 的第一色度分量中的任一个非重叠子块的扫描模式的确定过程为:以该非重叠子块的左上角像素点为起点,将起点作为第1个指向像素点,将剩余的3个像素点中像素值与第1个指向像素点的像素值的差的绝对值最小的一个像素点作为第1个被指向像素点,连接第1个指向像素点与第1个被指向像素点;将第1个被指向像素点作为第2个指向像素点,将剩余的2个像素点中像素值与第2个指向像素点的像素值的差的绝对值最小的一个像素点作为第2个被指向像素点,连接第2个指向像素点与第2个被指向像素点;将第2个被指向像素点作为第3个指向像素点,将剩余的1个像素点作为第3个被指向像素点,连接第3个指向像素点与第3个被指向像素点;将连接4个像素点的连接方式作为该非重叠子块的扫描模式;接着获取 的第一色度分量中的所有非重叠子块的颜色共生矩阵,记为 其中, 表示 的第一色度分量中扫描模式为第j1种扫描模式的非重叠子块及与其垂直上相邻且扫描模式为第j2种扫描模式的非重叠子块同时出现的概率。
[0044] 对于一个尺寸大小为2×2的子块,且在起点确定的情况下,那么该子块的扫描模式只有6种(即J=6),图2a至图2f给出了这6种扫描模式的示意图。在此,对于任一个非重叠子块,与其垂直上相邻的非重叠子块,为该非重叠子块上方且相邻的非重叠子块。
[0045] A3、根据{p(j1,j2)|1≤j1≤J,1≤j2≤J}和 计算Qtex,Qtex=log2(δmax+1),其中, 符号“||”为取绝对值符号,
max()为取最大值函数。
[0046] 在本实施例中,步骤四中的Qgem的获取过程为:
[0047] B1、将Iorg划分成 个互不重叠的尺寸大小为16×16的四边形网格,将Iorg中的第k个四边形网格记为UO,k,UO,k以其左上、左下、右上和右下4个网格顶点的集合来描述, 其中,符号 为向下取整运算符号,k为正整数,k的
初始值为1,1≤k≤M, 对应表示UO,k的左上网格顶点、左
下网格顶点、右上网格顶点、右下网格顶点, 以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置 来
描述, 以 的水平坐标位置 和垂直坐标位置 来描述,
以 的水平坐标位置 和垂直坐标位置 来描述,
[0048] B2、根据Iorg中的每个四边形网格的所有网格顶点的SIFT‑Flow向量,得到Iorg中的每个四边形网格在Isyn中匹配的四边形网格,将UO,k在Isyn中匹配的四边形网格记为然后计算Iorg中的每个四边形网格的相似性变换矩阵,将UO ,k的 相似 性变 换 矩阵 记 为 其 中 ,
对应表示 的左上网格顶点、左下网格顶点、右上网格顶点、右下网格
顶点, 也即为 在Isyn中匹配的网格顶点, 也即为 在Isyn中匹配的网格顶点,也即为 在Isyn中匹配的网格顶点, 也即为 在Isyn中匹配的网格顶点, 以
的水平坐标位置 和垂直坐标位置 来描述, 以 的水平
坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置
和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直
坐标位置 来描述,
表示 的SIFT‑Flow向量 的水平偏移
量, 表示 的SIFT‑Flow向量 的垂直偏移量, 表示
的SIFT‑Flow向量 的水平偏移量, 表示 的SIFT‑Flow向量
的垂直偏移量, 表示 的SIFT‑Flow向量 的水平偏
移量, 表示 的SIFT‑Flow向量 的垂直偏移量, 表示
的SIFT‑Flow向量 的水平偏移量, 表示 的SIFT‑Flow向量
T
的垂直偏移量, (AO,k) 为AO,k的转置,
T ‑1 T
((AO,k) AO,k) 为(AO,k) AO,k的逆, 的维数为6×1。
[0049] B3、根据Iorg中的每个四边形网格的相似性变换矩阵,计算Iorg中的每个四边形网格的几何失真,将UO,k的几何失真记为ζO,k,;其中,
表示 中的第1个元素, 表示 中的第2个元素, 表示 中的第4个
元素, 表示 中的第5个元素。
[0050] B4 、根据 Io rg 中的 每个 四边 形网 格的 几何 失真 ,计 算Q g em ,其中,SO(k)表示Idif中与UO,k位置对应的子块中的所有像素点的像素值的均值。
[0051] 步骤五:根据Qtex和Qgem,获取Isyn的特征矢量,记为Q,Q=[Qtex,Qgem];其中,Q的维数为2×1,[Qtex,Qgem]表示将Qtex和Qgem连接起来形成一个特征矢量。
[0052] 步骤六:将n幅绘制图像构成绘制图像集合;然后采用现有的主观质量评价方法,获取绘制图像集合中的每幅绘制图像的主观评分差值,将绘制图像集合中的第g1幅绘制图像的主观评分差值记为 并按照步骤一至步骤五的过程,以相同的方式获取绘制图像集合中的每幅绘制图像的特征矢量,将绘制图像集合中的第g1幅绘制图像的特征矢量记为 其中,n为正整数,n>1,g1为正整数,g1的初始值为1,1≤g1≤n, 的维数为2×1。
[0053] 步骤七:随机选择绘制图像集合中的m幅绘制图像构成训练集,将绘制图像集合中剩余的n‑m幅绘制图像构成测试集;然后将训练集中的所有绘制图像的特征矢量和主观评分差值构成训练样本数据集合;接着采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有特征矢量进行训练,使得经过训练得到的回归函数值与主观评分差值之opt opt间的误差最小,拟合得到最优的权重矢量w 和最优的偏置项b ;再利用得到的最优的权opt opt
重矢量w 和最优的偏置项b ,构造绘制图像的支持向量回归训练模型,记为f(Finp),其中,m为正整数,m∈[1,n),f()为函数表示形式,Finp表示绘制
图像的支持向量回归训练模型的输入矢量,为绘制图像的特征矢量,Finp的维数为2×1,opt T opt
(w ) 为w 的转置, 表示绘制图像的支持向量回归训练模型的输入矢量Finp的线性函数。
[0054] 步骤八:将测试集中的所有绘制图像的特征矢量构成测试样本数据集合;然后根据构造得到的绘制图像的支持向量回归训练模型,对测试样本数据集合中的每个特征矢量进行测试,预测得到测试样本数据集合中的每个特征矢量对应的绘制图像的客观质量评价预测值,将测试样本数据集合中的第q个特征矢量对应的绘制图像的客观质量评价预测值记为 其中,q为正整数,q的初始值为1,1≤q≤n‑m,Fq表示测试样本数据集合中的第q个特征矢量,Fq的维数为2×1, 表示Fq的线性函数。
[0055] 步骤九:重复执行步骤七至步骤八共Num次,并使绘制图像集合中的每幅绘制图像至少有一次属于测试集,经过Num次执行后计算绘制图像集合中的每幅绘制图像的若干个客观质量评价预测值的平均值,再将绘制图像集合中的每幅绘制图像的客观质量评价预测值的平均值作为该幅绘制图像的最终的客观质量评价预测值;其中,Num>1,在本实施例中取Num=1000。
[0056] 为了进一步说明本发明方法的可行性和有效性,对本发明方法进行试验。
[0057] 在本实施例中,采用本发明方法对IRCCyN/IVC、IETR和MCL‑3D绘制图像质量评价库进行测试。IRCCyN/IVC绘制图像质量评价库包括84幅绘制图像,IETR绘制图像质量评价库包括140幅绘制图像,MCL‑3D绘制图像质量评价库包含693幅绘制图像。利用评估图像质量评价方法的2个常用客观参量作为评价指标,即非线性回归条件下的Pearson线性相关系数(Pearson linear correlation coefficient,PLCC)和Spearman秩等级相关系数(Spearman rank order correlation coefficient,SROCC)。PLCC和SROCC越高说明本发明方法的评价结果与主观评分差值的相关性越好。表1给出了本发明方法得到的最终的客观质量评价预测值与主观评分差值之间的相关性。
[0058] 表1采用本发明方法得到的最终的客观质量评价预测值与主观评分差值之间的相关性
[0059]绘制图像质量评价库 PLCC SROCC
IRCCyN/IVC 0.7734 0.7520
IETR 0.7241 0.6891
MCL‑3D 0.7946 0.7883
[0060] 从表1中可以看出,采用本发明方法得到的绘制图像的最终的客观质量评价预测值与主观评分差值之间的相关性是很高的,表明客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的有效性。