[0042] 以下结合附图实施例对本发明作进一步详细描述。
[0043] 本发明提出的一种卫星立体图像质量评价方法,其总体实现框图如图1所示,其包括训练阶段和测试阶段两个过程;
[0044] 所述的训练阶段过程的具体步骤为:
[0045] 步骤①_1、选取N幅原始卫星立体图像及每幅原始卫星立体图像的数字表面模型(DSM),将第u幅原始卫星立体图像记为Mu,将第u幅原始卫星立体图像的数字表面模型记为Du;然后对每幅原始卫星立体图像进行L个不同等级的模糊失真,得到每幅原始卫星立体图像对应的L幅模糊失真的失真卫星立体图像;并对每幅原始卫星立体图像进行L个不同等级的高斯噪声失真,得到每幅原始卫星立体图像对应的L幅高斯噪声失真的失真卫星立体图像;再将每幅原始卫星立体图像对应的L幅模糊失真的失真卫星立体图像和L幅高斯噪声失真的失真卫星立体图像构成2L幅失真卫星立体图像,将第u幅原始卫星立体图像对应的第v幅失真卫星立体图像记为Su,v;其中,N为正整数,N>1,在本实施例中取N=20,u为正整数,u的初始值为1,1≤u≤N,L为正整数,L>1,在本实施例中取L=10,v为正整数,v的初始值为1,1≤v≤2L,Mu、Du和Su,v的宽度均为W且高度均为H。
[0046] 步骤①_2、采用现有的Harris角点检测方法对每幅原始卫星立体图像进行角点检测,检测得到每幅原始卫星立体图像中的所有为角点的像素点;同样,采用现有的Harris角点检测方法对每幅原始卫星立体图像对应的各幅失真卫星立体图像进行角点检测,检测得到每幅原始卫星立体图像对应的各幅失真卫星立体图像中的所有为角点的像素点。
[0047] 步骤①_3、根据每幅原始卫星立体图像的数字表面模型,将每幅原始卫星立体图像中的每个角点判定为特征点或非特征点;同样,根据每幅原始卫星立体图像的数字表面模型,将每幅原始卫星立体图像对应的各幅失真卫星立体图像中的每个角点判定为特征点或非特征点。
[0048] 在本实施例中,步骤①_3中,针对Mu,将Mu中的每个角点判定为特征点或非特征点的过程为:若Mu中坐标位置为(x1,y1)的像素点为角点,则当满足条件时,将该角点判定为特征点;当不满足条件 时,将该角点判定为
非特征点;其中,1≤x1≤W,1≤y1≤H,max()为取最大值函数, 表示以坐标位置为(x1,y1)的像素点为中心的5×5邻域内的所有邻域像素点的坐标位置构成的集合,Du(x1',y1')表示Du中坐标位置为(x1',y1')的像素点的像素值,T为设定的判定阈值,在本实施例中取T=24.45。
[0049] 在本实施例中,步骤①_3中,针对Su,v,将Su,v中的每个角点判定为特征点或非特征点的过程为:若Su,v中坐标位置为(x2,y2)的像素点为角点,则当满足条件时,将该角点判定为特征点;当不满足条件 时,将该角点判定为
非特征点;其中,1≤x2≤W,1≤y2≤H, 表示以坐标位置为(x2,y2)的像素点为中心的
5×5邻域内的所有邻域像素点的坐标位置构成的集合,Du(x2',y2')表示Du中坐标位置为(x2',y2')的像素点的像素值。
[0050] 步骤①_4、根据每幅原始卫星立体图像中的所有特征点及每幅原始卫星立体图像对应的各幅失真卫星立体图像中的所有特征点,计算每幅原始卫星立体图像对应的各幅失真卫星立体图像的检测准确度,将Su,v的检测准确度记为ρu,v。
[0051] 在本实施例中,步骤①_4中的ρu,v的获取过程为: 其中,TP表示Su,v中判定为特征点且Mu中对应的像素点也判定为特征点的像素点的总个数,FP表示Su,v中判定为特征点但Mu中对应的像素点判定为非特征点的像素点的总个数,FN表示Su,v中判定为非特征点且Mu中对应的像素点也判定为非特征点的像素点的总个数,TP、FP和FN均可通过统计得到。
[0052] 步骤①_5、将所有失真卫星立体图像及其检测准确度构成训练集,记为{Sv',ρv'|1≤v'≤N×2L};其中,v'为正整数,v'的初始值为1,1≤v'≤N×2L,N×2L为失真卫星立体图像的总幅数,Sv'表示{Sv',ρv'|1≤v'≤N×2L}中的第v'幅失真卫星立体图像,ρv'表示{Sv',ρv'|1≤v'≤N×2L}中的第v'幅失真卫星立体图像的检测准确度。
[0053] 步骤①_6、计算{Sv',ρv'|1≤v'≤N×2L}中的每幅失真卫星立体图像的结构特征矢量,将Sv'的结构特征矢量记为 其中, 的维数为128×1。
[0054] 并计算{Sv',ρv'|1≤v'≤N×2L}中的每幅失真卫星立体图像的纹理特征矢量,将Sv'的纹理特征矢量记为 其中, 的维数为8×1。
[0055] 在本实施例中,步骤①_6中的 的获取过程为:采用现有的尺度不变特征变换(SIFT)对Sv'进行描述,得到Sv'中的每个关键点的描述;然后将Sv'中的所有关键点的描述组成反映Sv'几何结构信息的关键点特征矢量集合,记为 再计算得到Sv'的结构特征矢量 其中,Sv'中的每个关键点的描述为该关键点的方向直方图组
成的特征矢量, 表示Sv'中的第i1个关键点的描述, 为Sv'中的第i1个关键点的方向直方图组成的特征矢量, 的维数为128×1,i1为正整数,i1的初始值为1,1≤i1≤M1,M1表示Sv'中的关键点的总个数,M1的值根据具体的Sv'确定。
[0056] 在本实施例中,步骤①_6中的 的获取过程为:
[0057] ①_6a、对Sv'中的所有像素点在水平0°度方向进行扫描,得到Sv'在水平0°度方向的灰度共生矩阵,记为{p0°(j1,j2)|1≤j1≤J,1≤j2≤J};其中,j1和j2均为正整数,1≤j1≤J,1≤j2≤J,j1≠j2,J表示Sv'中所包含的灰度级的总数目,p0°(j1,j2)表示Sv'中灰度值为j1的像素点与灰度值为j2的像素点在水平0°度方向同时出现的概率。
[0058] 对Sv'中的所有像素点在右对角45°度方向进行扫描,得到Sv'在右对角45°度方向的灰度共生矩阵,记为{p45°(j1,j2)|1≤j1≤J,1≤j2≤J};其中,p45°(j1,j2)表示Sv'中灰度值为j1的像素点与灰度值为j2的像素点在右对角45°度方向同时出现的概率。
[0059] 对Sv'中的所有像素点在垂直90°度方向进行扫描,得到Sv'在垂直90°度方向的灰度共生矩阵,记为{p90°(j1,j2)|1≤j1≤J,1≤j2≤J};其中,p90°(j1,j2)表示Sv'中灰度值为j1的像素点与灰度值为j2的像素点在垂直90°度方向同时出现的概率。
[0060] 对Sv'中的所有像素点在左对角135°度方向进行扫描,得到Sv'在左对角135°度方向的灰度共生矩阵,记为{p135°(j1,j2)|1≤j1≤J,1≤j2≤J};其中,p135°(j1,j2)表示Sv'中灰度值为j1的像素点与灰度值为j2的像素点在左对角135°度方向同时出现的概率。
[0061] ①_6b、根据{p0°(j1,j2)|1≤j1≤J,1≤j2≤J},计算Sv'在水平0°度方向的能量、熵、对比度、同质性特征,对应记为E0°、H0°、C0°、R0°,其中,符号“||”为取绝对值符号。
[0062] 根据{p45°(j1,j2)|1≤j1≤J,1≤j2≤J},计算Sv'在右对角45°度方向的能量、熵、对比度、同质性特征,对应记为E45°、H45°、C45°、R45°,
[0063] 根据{p90°(j1,j2)|1≤j1≤J,1≤j2≤J},计算Sv'在垂直90°度方向的能量、熵、对比度、同质性特征,对应记为E90°、H90°、C90°、R90°,
[0064] 根据{p135°(j1,j2)|1≤j1≤J,1≤j2≤J},计算Sv'在左对角135°度方向的能量、熵、对比度、同质性特征,对应记为E135°、H135°、C135°、R135°,
[0065] ①_6c、计算E0°、E45°、E90°和E135°的均值和方差,对应记为μE和σE,[0066] 计算H0°、H45°、H90°和H135°的均值和方差,对应记为μH和σH,
[0067] 计算C0°、C45°、C90°和C135°的均值和方差,对应记为μC和σC,
[0068] 计算R0°、R45°、R90°和R135°的均值和方差,对应记为μR和σR,
[0069] ①_6d、将μE、σE、μH、σH、μC、σC、μR和σR按序排列构成Sv'的纹理特征矢量[0070] 步骤①_7、将{Sv',ρv'|1≤v'≤N×2L}中的每幅失真卫星立体图像的结构特征矢量和纹理特征矢量排列构成{Sv',ρv'|1≤v'≤N×2L}中的每幅失真卫星立体图像的特征矢量,将Sv'的特征矢量记为Fv', 其中,符号“[]”为矢量表示符号,为 的转置, 为 的转置, 为 的转置,Fv'的
维数为136×1。
[0071] 步骤①_8、将{Sv',ρv'|1≤v'≤N×2L}中的所有失真卫星立体图像各自的特征矢量和检测准确度构成训练样本数据集合,训练样本数据集合中包含N×2L个特征矢量和N×2L个检测准确度;然后采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有特征矢量进行训练,使得经过训练得到的回归函数值与检测准确度之间的误差最小,拟合得到最优的权重矢量wopt和最优的偏置项bopt;接着利用最优的权重矢量wopt和最优的偏置项bopt,构造预测模型,记为f(F), 其中,f()为函数表示形式,F
用于表示失真卫星立体图像的特征矢量,且作为预测模型的输入矢量,(wopt)T为wopt的转置, 为F的线性函数。
[0072] 所述的测试阶段过程的具体步骤为:
[0073] 步骤②_1、对于任意一幅用作测试的失真卫星立体图像,将其记为Stest;其中,Stest的宽度为W'且高度为H',W'可与W相同或不相同,H'可与H相同或不相同。
[0074] 步骤②_2、按照步骤①_6的过程,以相同的操作,获取Stest的特征矢量,记为Ftest;其中,Ftest的维数为136×1。
[0075] 步骤②_3、利用训练阶段构造的预测模型f(F)对Ftest进行测试,预测得到Ftest对应的预测值,将该预测值作为Stest的检测准确度,记为ρtest, 其中,为Ftest的线性函数。
[0076] 为了进一步说明本发明方法的可行性和有效性,对本发明方法进行试验。
[0077] 在本实施例中,采用本发明方法对宁波大学建立的卫星立体图像数据库进行测试,该卫星立体图像数据库包含20幅原始卫星立体图像,对每幅原始卫星立体图像进行10个不同等级的模糊失真和10个不同等级的高斯噪声失真,共得到400幅失真卫星立体图像,每幅失真卫星立体图像指定一个[0,1]范围内的检测准确度值,1表示检测质量为优,0表示检测质量为劣。
[0078] 在本实施例中,利用评估图像质量评价方法的2个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient,PLCC)、Spearman相关系数(Spearman rank order correlation coefficient,SROCC),PLCC反映客观质量评价预测值的准确性,SROCC反映其单调性。表1给出了采用本发明方法预测的检测准确度值与真实的检测准确度值之间的相关性,从表1中可以看出,即使采用不同比例的原始卫星立体图像的所有失真卫星立体图像及其检测准确度构成训练集,采用本发明方法预测的检测准确度值与真实的检测准确度值之间的相关性是很高的,足以说明本发明方法的有效性。
[0079] 表1采用本发明方法预测的检测准确度值与真实的检测准确度值之间的相关性[0080]