首页 > 专利 > 宁波大学 > 一种卫星立体图像质量评价方法专利详情

一种卫星立体图像质量评价方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2019-01-24
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2019-07-19
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2020-12-01
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2039-01-24
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201910067242.5 申请日 2019-01-24
公开/公告号 CN109934797B 公开/公告日 2020-12-01
授权日 2020-12-01 预估到期日 2039-01-24
申请年 2019年 公开/公告年 2020年
缴费截止日
分类号 G06T7/00G06K9/62 主分类号 G06T7/00
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 5
权利要求数量 6 非专利引证数量 1
引用专利数量 1 被引证专利数量 0
非专利引证 1、2005.02.01薛小波 等.基于失真类型判断的立体图像质量评价《.浙江省电子学会2014学术年会论文集》.2014,毛香英 等.基于结构失真分析的立体图像质量客观评价模型《.计算机辅助设计与图形学学报》.2012,第24卷(第8期),熊义明 等.基于稀疏表示的失真卫星立体图像全参考质量评价《.光学学报》.2018,第38卷(第12期),;
引用专利 US6850252B 被引证专利
专利权维持 3 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 宁波大学 当前专利权人 宁波大学
发明人 邵枫、熊义明、李福翠 第一发明人 邵枫
地址 浙江省宁波市江北区风华路818号 邮编 315211
申请人数量 1 发明人数量 3
申请人所在省 浙江省 申请人所在市 浙江省宁波市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
宁波奥圣专利代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
周珏
摘要
本发明公开了一种卫星立体图像质量评价方法,其在训练阶段考虑了模糊和高斯噪声对失真卫星立体图像的检测准确度的影响,提取出失真卫星立体图像的结构特征矢量和纹理特征矢量构成特征矢量,然后利用支持向量回归对所有失真卫星立体图像的特征矢量进行训练,构造预测模型;在测试阶段,通过测试的失真卫星立体图像的特征矢量,并根据预测模型,预测得到测试的失真卫星立体图像的检测准确度,由于获得的特征矢量信息能较好地反映失真卫星立体图像的失真对检测准确度的变化情况,因此有效地提高了预测的检测准确度与真实的检测准确度之间的相关性,即能准确地自动评价失真卫星立体图像的质量,有效地提高了客观评价结果与主观感知之间的相关性。
  • 摘要附图
    一种卫星立体图像质量评价方法
  • 说明书附图:图1
    一种卫星立体图像质量评价方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2020-12-01 授权
2 2019-07-19 实质审查的生效 IPC(主分类): G06T 7/00 专利申请号: 201910067242.5 申请日: 2019.01.24
3 2019-06-25 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种卫星立体图像质量评价方法,其特征在于包括训练阶段和测试阶段两个过程;
所述的训练阶段过程的具体步骤为:
步骤①_1、选取N幅原始卫星立体图像及每幅原始卫星立体图像的数字表面模型(DSM),将第u幅原始卫星立体图像记为Mu,将第u幅原始卫星立体图像的数字表面模型记为Du;然后对每幅原始卫星立体图像进行L个不同等级的模糊失真,得到每幅原始卫星立体图像对应的L幅模糊失真的失真卫星立体图像;并对每幅原始卫星立体图像进行L个不同等级的高斯噪声失真,得到每幅原始卫星立体图像对应的L幅高斯噪声失真的失真卫星立体图像;再将每幅原始卫星立体图像对应的L幅模糊失真的失真卫星立体图像和L幅高斯噪声失真的失真卫星立体图像构成2L幅失真卫星立体图像,将第u幅原始卫星立体图像对应的第v幅失真卫星立体图像记为Su,v;其中,N为正整数,N>1,u为正整数,u的初始值为1,1≤u≤N,L为正整数,L>1,v为正整数,v的初始值为1,1≤v≤2L,Mu、Du和Su,v的宽度均为W且高度均为H;
步骤①_2、对每幅原始卫星立体图像进行角点检测,检测得到每幅原始卫星立体图像中的所有为角点的像素点;同样,对每幅原始卫星立体图像对应的各幅失真卫星立体图像进行角点检测,检测得到每幅原始卫星立体图像对应的各幅失真卫星立体图像中的所有为角点的像素点;
步骤①_3、根据每幅原始卫星立体图像的数字表面模型,将每幅原始卫星立体图像中的每个角点判定为特征点或非特征点;同样,根据每幅原始卫星立体图像的数字表面模型,将每幅原始卫星立体图像对应的各幅失真卫星立体图像中的每个角点判定为特征点或非特征点;
步骤①_4、根据每幅原始卫星立体图像中的所有特征点及每幅原始卫星立体图像对应的各幅失真卫星立体图像中的所有特征点,计算每幅原始卫星立体图像对应的各幅失真卫星立体图像的检测准确度,将Su,v的检测准确度记为ρu,v;
步骤①_5、将所有失真卫星立体图像及其检测准确度构成训练集,记为{Sv',ρv'|1≤v'≤N×2L};其中,v'为正整数,v'的初始值为1,1≤v'≤N×2L,N×2L为失真卫星立体图像的总幅数,Sv'表示{Sv',ρv'|1≤v'≤N×2L}中的第v'幅失真卫星立体图像,ρv'表示{Sv',ρv'|1≤v'≤N×2L}中的第v'幅失真卫星立体图像的检测准确度;
步骤①_6、计算{Sv',ρv'|1≤v'≤N×2L}中的每幅失真卫星立体图像的结构特征矢量,将Sv'的结构特征矢量记为 其中, 的维数为128×1;
并计算{Sv',ρv'|1≤v'≤N×2L}中的每幅失真卫星立体图像的纹理特征矢量,将Sv'的纹理特征矢量记为 其中, 的维数为8×1;
步骤①_7、将{Sv',ρv'|1≤v'≤N×2L}中的每幅失真卫星立体图像的结构特征矢量和纹理特征矢量排列构成{Sv',ρv'|1≤v'≤N×2L}中的每幅失真卫星立体图像的特征矢量,将Sv'的特征矢量记为Fv', 其中,符号“[]”为矢量表示符号, 为
的转置, 为 的转置, 为 的转置,Fv'的维数为136×
1;
步骤①_8、将{Sv',ρv'|1≤v'≤N×2L}中的所有失真卫星立体图像各自的特征矢量和检测准确度构成训练样本数据集合,训练样本数据集合中包含N×2L个特征矢量和N×2L个检测准确度;然后采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有特征矢量进行训练,使得经过训练得到的回归函数值与检测准确度之间的误差最小,拟合得到最优的权重矢量wopt和最优的偏置项bopt;接着利用最优的权重矢量wopt和最优的偏置项bopt,构造预测模型,记为f(F), 其中,f()为函数表示形式,F用于表
示失真卫星立体图像的特征矢量,且作为预测模型的输入矢量,(wopt)T为wopt的转置,为F的线性函数;
所述的测试阶段过程的具体步骤为:
步骤②_1、对于任意一幅用作测试的失真卫星立体图像,将其记为Stest;其中,Stest的宽度为W'且高度为H';
步骤②_2、按照步骤①_6的过程,以相同的操作,获取Stest的特征矢量,记为Ftest;其中,Ftest的维数为136×1;
步骤②_3、利用训练阶段构造的预测模型f(F)对Ftest进行测试,预测得到Ftest对应的预测值,将该预测值作为Stest的检测准确度,记为ρtest, 其中,
为Ftest的线性函数。

2.根据权利要求1所述的一种卫星立体图像质量评价方法,其特征在于所述的步骤①_
2中,角点检测采用Harris角点检测方法。

3.根据权利要求1或2所述的一种卫星立体图像质量评价方法,其特征在于所述的步骤①_3中,将每幅原始卫星立体图像中的每个角点判定为特征点或非特征点的过程为:对于第u幅原始卫星立体图像Mu,若Mu中坐标位置为(x1,y1)的像素点为角点,则当满足条件时,将该角点判定为特征点;当不满足条件
时,将该角点判定为非特征点;其中,1≤x1≤W,1≤y1≤H,max()为取最大值函数, 表示以坐标位置为(x1,y1)的像素点为中心的5×5邻域内的所有邻域像素点的坐标位置构成的集合,Du(x1',y1')表示Du中坐标位置为(x1',y1')的像素点的像素值,T为设定的判定阈值;
所述的步骤①_3中,将每幅原始卫星立体图像对应的各幅失真卫星立体图像中的每个角点判定为特征点或非特征点的过程为:对于第u幅原始卫星立体图像对应的第v幅失真卫星立体图像Su,v,若Su,v中坐标位置为(x2,y2)的像素点为角点,则当满足条件时,将该角点判定为特征点;当不满足条件
时,将该角点判定为非特征点;其中,1≤x2≤W,1≤y2≤H,
表示以坐标位置为(x2,y2)的像素点为中心的5×5邻域内的所有邻域像素点的坐标位置构成的集合,Du(x2',y2')表示Du中坐标位置为(x2',y2')的像素点的像素值;

4.根据权利要求3所述的一种卫星立体图像质量评价方法,其特征在于所述的步骤①_
4中的ρu,v的获取过程为: 其中,TP表示Su,v中判定为特征点且Mu中对应
的像素点也判定为特征点的像素点的总个数,FP表示Su,v中判定为特征点但Mu中对应的像素点判定为非特征点的像素点的总个数,FN表示Su,v中判定为非特征点且Mu中对应的像素点也判定为非特征点的像素点的总个数。

5.根据权利要求4所述的一种卫星立体图像质量评价方法,其特征在于所述的步骤①_
6中的 的获取过程为:采用尺度不变特征变换对Sv'进行描述,得到Sv'中的每个关键点的描述;然后将Sv'中的所有关键点的描述组成反映Sv'几何结构信息的关键点特征矢量集合,记为 再计算得到Sv'的结构特征矢量 其中,Sv'中的每个
关键点的描述为该关键点的方向直方图组成的特征矢量, 表示Sv'中的第i1个关键点的描述, 为Sv'中的第i1个关键点的方向直方图组成的特征矢量, 的维数为128×1,i1为正整数,i1的初始值为1,1≤i1≤M1,M1表示Sv'中的关键点的总个数。

6.根据权利要求5所述的一种卫星立体图像质量评价方法,其特征在于所述的步骤①_
6中的 的获取过程为:
①_6a、对Sv'中的所有像素点在水平0°度方向进行扫描,得到Sv'在水平0°度方向的灰度共生矩阵,记为{p0°(j1,j2)|1≤j1≤J,1≤j2≤J};其中,j1和j2均为正整数,1≤j1≤J,1≤j2≤J,j1≠j2,J表示Sv'中所包含的灰度级的总数目,p0°(j1,j2)表示Sv'中灰度值为j1的像素点与灰度值为j2的像素点在水平0°度方向同时出现的概率;
对Sv'中的所有像素点在右对角45°度方向进行扫描,得到Sv'在右对角45°度方向的灰度共生矩阵,记为{p45°(j1,j2)|1≤j1≤J,1≤j2≤J};其中,p45°(j1,j2)表示Sv'中灰度值为j1的像素点与灰度值为j2的像素点在右对角45°度方向同时出现的概率;
对Sv'中的所有像素点在垂直90°度方向进行扫描,得到Sv'在垂直90°度方向的灰度共生矩阵,记为{p90°(j1,j2)|1≤j1≤J,1≤j2≤J};其中,p90°(j1,j2)表示Sv'中灰度值为j1的像素点与灰度值为j2的像素点在垂直90°度方向同时出现的概率;
对Sv'中的所有像素点在左对角135°度方向进行扫描,得到Sv'在左对角135°度方向的灰度共生矩阵,记为{p135°(j1,j2)|1≤j1≤J,1≤j2≤J};其中,p135°(j1,j2)表示Sv'中灰度值为j1的像素点与灰度值为j2的像素点在左对角135°度方向同时出现的概率;
①_6b、根据{p0°(j1,j2)|1≤j1≤J,1≤j2≤J},计算Sv'在水平0°度方向的能量、熵、对比度、同质性特征,对应记为E0°、H0°、C0°、R0°,
其中,符号“||”为取绝对值符号;
根据{p45°(j1,j2)|1≤j1≤J,1≤j2≤J},计算Sv'在右对角45°度方向的能量、熵、对比度、同质性特征,对应记为E45°、H45°、C45°、R45°,
根据{p90°(j1,j2)|1≤j1≤J,1≤j2≤J},计算Sv'在垂直90°度方向的能量、熵、对比度、同质性特征,对应记为E90°、H90°、C90°、R90°,
根据{p135°(j1,j2)|1≤j1≤J,1≤j2≤J},计算Sv'在左对角135°度方向的能量、熵、对比度、同质性特征,对应记为E135°、H135°、C135°、R135°,
①_6c、计算E0°、E45°、E90°和E135°的均值和方差,对应记为μE和σE,
计算H0°、H45°、H90°和H135°的均值和方差,对应记为μH和σH,
计算C0°、C45°、C90°和C135°的均值和方差,对应记为μC和σC,
计算R0°、R45°、R90°和R135°的均值和方差,对应记为μR和σR,
①_6d、将μE、σE、μH、σH、μC、σC、μR和σR按序排列构成Sv'的纹理特征矢量
说明书

技术领域

[0001] 本发明涉及一种图像质量评价技术,尤其是涉及一种卫星立体图像质量评价方法。

背景技术

[0002] 近些年,遥感卫星技术在国民经济各部门得到了广泛应用。遥感卫星技术带动了相关产业的发展,在土地资源、海洋资源、农业、林业、水利、地震监测、石油、天然气应用和环境等领域有着广泛的应用。同时,随着ZY1-02C、ZY-3、GF-1等高分辨率遥感卫星的成功发射,高分辨率遥感卫星立体影像的数量急剧增加,数据采集速度加快,数据更新周期变短。因此,建立高效的遥感卫星图像质量评价模型十分必要。
[0003] 目前,图像质量评价的研究主要集中于自然图像上,尽管遥感传感器采集图像的技术在不断升级,但是遥感卫星图像用于各种应用中,这些遥感卫星图像质量评价还依赖遥感工作者的主观筛选,这将很难去判断遥感卫星图像在特定应用中的质量,因此,根据特定应用场景设计一种客观评价模型对遥感卫星图像进行评价,这将有效地提高遥感卫星图像评价的效率。

发明内容

[0004] 本发明所要解决的技术问题是提供一种卫星立体图像质量评价方法,其能够准确地自动评价失真卫星立体图像的质量,且其客观评价结果与主观感知之间的相关性高。
[0005] 本发明解决上述技术问题所采用的技术方案为:一种卫星立体图像质量评价方法,其特征在于包括训练阶段和测试阶段两个过程;
[0006] 所述的训练阶段过程的具体步骤为:
[0007] 步骤①_1、选取N幅原始卫星立体图像及每幅原始卫星立体图像的数字表面模型(DSM),将第u幅原始卫星立体图像记为Mu,将第u幅原始卫星立体图像的数字表面模型记为Du;然后对每幅原始卫星立体图像进行L个不同等级的模糊失真,得到每幅原始卫星立体图像对应的L幅模糊失真的失真卫星立体图像;并对每幅原始卫星立体图像进行L个不同等级的高斯噪声失真,得到每幅原始卫星立体图像对应的L幅高斯噪声失真的失真卫星立体图像;再将每幅原始卫星立体图像对应的L幅模糊失真的失真卫星立体图像和L幅高斯噪声失真的失真卫星立体图像构成2L幅失真卫星立体图像,将第u幅原始卫星立体图像对应的第v幅失真卫星立体图像记为Su,v;其中,N为正整数,N>1,u为正整数,u的初始值为1,1≤u≤N,L为正整数,L>1,v为正整数,v的初始值为1,1≤v≤2L,Mu、Du和Su,v的宽度均为W且高度均为H;
[0008] 步骤①_2、对每幅原始卫星立体图像进行角点检测,检测得到每幅原始卫星立体图像中的所有为角点的像素点;同样,对每幅原始卫星立体图像对应的各幅失真卫星立体图像进行角点检测,检测得到每幅原始卫星立体图像对应的各幅失真卫星立体图像中的所有为角点的像素点;
[0009] 步骤①_3、根据每幅原始卫星立体图像的数字表面模型,将每幅原始卫星立体图像中的每个角点判定为特征点或非特征点;同样,根据每幅原始卫星立体图像的数字表面模型,将每幅原始卫星立体图像对应的各幅失真卫星立体图像中的每个角点判定为特征点或非特征点;
[0010] 步骤①_4、根据每幅原始卫星立体图像中的所有特征点及每幅原始卫星立体图像对应的各幅失真卫星立体图像中的所有特征点,计算每幅原始卫星立体图像对应的各幅失真卫星立体图像的检测准确度,将Su,v的检测准确度记为ρu,v;
[0011] 步骤①_5、将所有失真卫星立体图像及其检测准确度构成训练集,记为{Sv',ρv'|1≤v'≤N×2L};其中,v'为正整数,v'的初始值为1,1≤v'≤N×2L,N×2L为失真卫星立体图像的总幅数,Sv'表示{Sv',ρv'|1≤v'≤N×2L}中的第v'幅失真卫星立体图像,ρv'表示{Sv',ρv'|1≤v'≤N×2L}中的第v'幅失真卫星立体图像的检测准确度;
[0012] 步骤①_6、计算{Sv',ρv'|1≤v'≤N×2L}中的每幅失真卫星立体图像的结构特征矢量,将Sv'的结构特征矢量记为 其中, 的维数为128×1;
[0013] 并计算{Sv',ρv'|1≤v'≤N×2L}中的每幅失真卫星立体图像的纹理特征矢量,将Sv'的纹理特征矢量记为 其中, 的维数为8×1;
[0014] 步骤①_7、将{Sv',ρv'|1≤v'≤N×2L}中的每幅失真卫星立体图像的结构特征矢量和纹理特征矢量排列构成{Sv',ρv'|1≤v'≤N×2L}中的每幅失真卫星立体图像的特征矢量,将Sv'的特征矢量记为Fv', 其中,符号“[]”为矢量表示符号,为 的转置, 为 的转置, 为 的转置,Fv'的
维数为136×1;
[0015] 步骤①_8、将{Sv',ρv'|1≤v'≤N×2L}中的所有失真卫星立体图像各自的特征矢量和检测准确度构成训练样本数据集合,训练样本数据集合中包含N×2L个特征矢量和N×2L个检测准确度;然后采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有特征矢量进行训练,使得经过训练得到的回归函数值与检测准确度之间的误差最小,拟合得到最优的权重矢量wopt和最优的偏置项bopt;接着利用最优的权重矢量wopt和最优的偏置项bopt,构造预测模型,记为f(F), 其中,f()为函数表示形式,F
用于表示失真卫星立体图像的特征矢量,且作为预测模型的输入矢量,(wopt)T为wopt的转置, 为F的线性函数;
[0016] 所述的测试阶段过程的具体步骤为:
[0017] 步骤②_1、对于任意一幅用作测试的失真卫星立体图像,将其记为Stest;其中,Stest的宽度为W'且高度为H';
[0018] 步骤②_2、按照步骤①_6的过程,以相同的操作,获取Stest的特征矢量,记为Ftest;其中,Ftest的维数为136×1;
[0019] 步骤②_3、利用训练阶段构造的预测模型f(F)对Ftest进行测试,预测得到Ftest对应的预测值,将该预测值作为Stest的检测准确度,记为ρtest, 其中,为Ftest的线性函数。
[0020] 所述的步骤①_2中,角点检测采用Harris角点检测方法。
[0021] 所述的步骤①_3中,针对Mu,将Mu中的每个角点判定为特征点或非特征点的过程为:若Mu中坐标位置为(x1,y1)的像素点为角点,则当满足条件时,将该角点判定为特征点;当不满足条件 时,将该角点判定为
非特征点;其中,1≤x1≤W,1≤y1≤H,max()为取最大值函数, 表示以坐标位置为(x1,y1)的像素点为中心的5×5邻域内的所有邻域像素点的坐标位置构成的集合,Du(x1',y1')表示Du中坐标位置为(x1',y1')的像素点的像素值,T为设定的判定阈值;
[0022] 所述的步骤①_3中,针对Su,v,将Su,v中的每个角点判定为特征点或非特征点的过程为:若Su,v中坐标位置为(x2,y2)的像素点为角点,则当满足条件时,将该角点判定为特征点;当不满足条件 时,将该角点判定为
非特征点;其中,1≤x2≤W,1≤y2≤H, 表示以坐标位置为(x2,y2)的像素点为中心的
5×5邻域内的所有邻域像素点的坐标位置构成的集合,Du(x2',y2')表示Du中坐标位置为(x2',y2')的像素点的像素值;
[0023] 所述的步骤①_4中的ρu,v的获取过程为: 其中,TP表示Su,v中判定为特征点且Mu中对应的像素点也判定为特征点的像素点的总个数,FP表示Su,v中判定为特征点但Mu中对应的像素点判定为非特征点的像素点的总个数,FN表示Su,v中判定为非特征点且Mu中对应的像素点也判定为非特征点的像素点的总个数。
[0024] 所述的步骤①_6中的 的获取过程为:采用尺度不变特征变换对Sv'进行描述,得到Sv'中的每个关键点的描述;然后将Sv'中的所有关键点的描述组成反映Sv'几何结构信息的关键点特征矢量集合,记为 再计算得到Sv'的结构特征矢量其中,Sv'中的每个关键点的描述为该关键点的方向直方图组成的特征矢量, 表示Sv'中的第i1个关键点的描述, 为Sv'中的第i1个关键点的方向直方图组成的特征矢量, 的维数为128×1,i1为正整数,i1的初始值为1,1≤i1≤M1,M1表示Sv'中的关键点的总个数。
[0025] 所述的步骤①_6中的 的获取过程为:
[0026] ①_6a、对Sv'中的所有像素点在水平0°度方向进行扫描,得到Sv'在水平0°度方向的灰度共生矩阵,记为{p0°(j1,j2)|1≤j1≤J,1≤j2≤J};其中,j1和j2均为正整数,1≤j1≤J,1≤j2≤J,j1≠j2,J表示Sv'中所包含的灰度级的总数目,p0°(j1,j2)表示Sv'中灰度值为j1的像素点与灰度值为j2的像素点在水平0°度方向同时出现的概率;
[0027] 对Sv'中的所有像素点在右对角45°度方向进行扫描,得到Sv'在右对角45°度方向的灰度共生矩阵,记为{p45°(j1,j2)|1≤j1≤J,1≤j2≤J};其中,p45°(j1,j2)表示Sv'中灰度值为j1的像素点与灰度值为j2的像素点在右对角45°度方向同时出现的概率;
[0028] 对Sv'中的所有像素点在垂直90°度方向进行扫描,得到Sv'在垂直90°度方向的灰度共生矩阵,记为{p90°(j1,j2)|1≤j1≤J,1≤j2≤J};其中,p90°(j1,j2)表示Sv'中灰度值为j1的像素点与灰度值为j2的像素点在垂直90°度方向同时出现的概率;
[0029] 对Sv'中的所有像素点在左对角135°度方向进行扫描,得到Sv'在左对角135°度方向的灰度共生矩阵,记为{p135°(j1,j2)|1≤j1≤J,1≤j2≤J};其中,p135°(j1,j2)表示Sv'中灰度值为j1的像素点与灰度值为j2的像素点在左对角135°度方向同时出现的概率;
[0030] ①_6b、根据{p0°(j1,j2)|1≤j1≤J,1≤j2≤J},计算Sv'在水平0°度方向的能量、熵、对比度、同质性特征,对应记为E0°、H0°、C0°、R0°,其中,符号“| |”为取绝对值符号;
[0031] 根据{p45°(j1,j2)|1≤j1≤J,1≤j2≤J},计算Sv'在右对角45°度方向的能量、熵、对比度、同质性特征,对应记为E45°、H45°、C45°、R45°,
[0032] 根据{p90°(j1,j2)|1≤j1≤J,1≤j2≤J},计算Sv'在垂直90°度方向的能量、熵、对比度、同质性特征,对应记为E90°、H90°、C90°、R90°,
[0033] 根据{p135°(j1,j2)|1≤j1≤J,1≤j2≤J},计算Sv'在左对角135°度方向的能量、熵、对比度、同质性特征,对应记为E135°、H135°、C135°、R135°,
[0034] ①_6c、计算E0°、E45°、E90°和E135°的均值和方差,对应记为μE和σE,[0035] 计算H0°、H45°、H90°和H135°的均值和方差,对应记为μH和σH,
[0036] 计算C0°、C45°、C90°和C135°的均值和方差,对应记为μC和σC,
[0037] 计算R0°、R45°、R90°和R135°的均值和方差,对应记为μR和σR,
[0038] ①_6d、将μE、σE、μH、σH、μC、σC、μR和σR按序排列构成Sv'的纹理特征矢量[0039] 与现有技术相比,本发明的优点在于:
[0040] 本发明方法在训练阶段考虑了模糊和高斯噪声对失真卫星立体图像的检测准确度的影响,提取出失真卫星立体图像的结构特征矢量和纹理特征矢量构成特征矢量,然后利用支持向量回归对所有失真卫星立体图像的特征矢量进行训练,构造预测模型;在测试阶段,通过计算用作测试的失真卫星立体图像的特征矢量,并根据训练阶段构造的预测模型,预测得到用作测试的失真卫星立体图像的检测准确度值,由于获得的特征矢量信息能够较好地反映失真卫星立体图像的失真对检测准确度的变化情况,因此有效地提高了预测的检测准确度值与真实的检测准确度值之间的相关性,即能够准确地自动评价失真卫星立体图像的质量,有效地提高了客观评价结果与主观感知之间的相关性。

实施方案

[0042] 以下结合附图实施例对本发明作进一步详细描述。
[0043] 本发明提出的一种卫星立体图像质量评价方法,其总体实现框图如图1所示,其包括训练阶段和测试阶段两个过程;
[0044] 所述的训练阶段过程的具体步骤为:
[0045] 步骤①_1、选取N幅原始卫星立体图像及每幅原始卫星立体图像的数字表面模型(DSM),将第u幅原始卫星立体图像记为Mu,将第u幅原始卫星立体图像的数字表面模型记为Du;然后对每幅原始卫星立体图像进行L个不同等级的模糊失真,得到每幅原始卫星立体图像对应的L幅模糊失真的失真卫星立体图像;并对每幅原始卫星立体图像进行L个不同等级的高斯噪声失真,得到每幅原始卫星立体图像对应的L幅高斯噪声失真的失真卫星立体图像;再将每幅原始卫星立体图像对应的L幅模糊失真的失真卫星立体图像和L幅高斯噪声失真的失真卫星立体图像构成2L幅失真卫星立体图像,将第u幅原始卫星立体图像对应的第v幅失真卫星立体图像记为Su,v;其中,N为正整数,N>1,在本实施例中取N=20,u为正整数,u的初始值为1,1≤u≤N,L为正整数,L>1,在本实施例中取L=10,v为正整数,v的初始值为1,1≤v≤2L,Mu、Du和Su,v的宽度均为W且高度均为H。
[0046] 步骤①_2、采用现有的Harris角点检测方法对每幅原始卫星立体图像进行角点检测,检测得到每幅原始卫星立体图像中的所有为角点的像素点;同样,采用现有的Harris角点检测方法对每幅原始卫星立体图像对应的各幅失真卫星立体图像进行角点检测,检测得到每幅原始卫星立体图像对应的各幅失真卫星立体图像中的所有为角点的像素点。
[0047] 步骤①_3、根据每幅原始卫星立体图像的数字表面模型,将每幅原始卫星立体图像中的每个角点判定为特征点或非特征点;同样,根据每幅原始卫星立体图像的数字表面模型,将每幅原始卫星立体图像对应的各幅失真卫星立体图像中的每个角点判定为特征点或非特征点。
[0048] 在本实施例中,步骤①_3中,针对Mu,将Mu中的每个角点判定为特征点或非特征点的过程为:若Mu中坐标位置为(x1,y1)的像素点为角点,则当满足条件时,将该角点判定为特征点;当不满足条件 时,将该角点判定为
非特征点;其中,1≤x1≤W,1≤y1≤H,max()为取最大值函数, 表示以坐标位置为(x1,y1)的像素点为中心的5×5邻域内的所有邻域像素点的坐标位置构成的集合,Du(x1',y1')表示Du中坐标位置为(x1',y1')的像素点的像素值,T为设定的判定阈值,在本实施例中取T=24.45。
[0049] 在本实施例中,步骤①_3中,针对Su,v,将Su,v中的每个角点判定为特征点或非特征点的过程为:若Su,v中坐标位置为(x2,y2)的像素点为角点,则当满足条件时,将该角点判定为特征点;当不满足条件 时,将该角点判定为
非特征点;其中,1≤x2≤W,1≤y2≤H, 表示以坐标位置为(x2,y2)的像素点为中心的
5×5邻域内的所有邻域像素点的坐标位置构成的集合,Du(x2',y2')表示Du中坐标位置为(x2',y2')的像素点的像素值。
[0050] 步骤①_4、根据每幅原始卫星立体图像中的所有特征点及每幅原始卫星立体图像对应的各幅失真卫星立体图像中的所有特征点,计算每幅原始卫星立体图像对应的各幅失真卫星立体图像的检测准确度,将Su,v的检测准确度记为ρu,v。
[0051] 在本实施例中,步骤①_4中的ρu,v的获取过程为: 其中,TP表示Su,v中判定为特征点且Mu中对应的像素点也判定为特征点的像素点的总个数,FP表示Su,v中判定为特征点但Mu中对应的像素点判定为非特征点的像素点的总个数,FN表示Su,v中判定为非特征点且Mu中对应的像素点也判定为非特征点的像素点的总个数,TP、FP和FN均可通过统计得到。
[0052] 步骤①_5、将所有失真卫星立体图像及其检测准确度构成训练集,记为{Sv',ρv'|1≤v'≤N×2L};其中,v'为正整数,v'的初始值为1,1≤v'≤N×2L,N×2L为失真卫星立体图像的总幅数,Sv'表示{Sv',ρv'|1≤v'≤N×2L}中的第v'幅失真卫星立体图像,ρv'表示{Sv',ρv'|1≤v'≤N×2L}中的第v'幅失真卫星立体图像的检测准确度。
[0053] 步骤①_6、计算{Sv',ρv'|1≤v'≤N×2L}中的每幅失真卫星立体图像的结构特征矢量,将Sv'的结构特征矢量记为 其中, 的维数为128×1。
[0054] 并计算{Sv',ρv'|1≤v'≤N×2L}中的每幅失真卫星立体图像的纹理特征矢量,将Sv'的纹理特征矢量记为 其中, 的维数为8×1。
[0055] 在本实施例中,步骤①_6中的 的获取过程为:采用现有的尺度不变特征变换(SIFT)对Sv'进行描述,得到Sv'中的每个关键点的描述;然后将Sv'中的所有关键点的描述组成反映Sv'几何结构信息的关键点特征矢量集合,记为 再计算得到Sv'的结构特征矢量 其中,Sv'中的每个关键点的描述为该关键点的方向直方图组
成的特征矢量, 表示Sv'中的第i1个关键点的描述, 为Sv'中的第i1个关键点的方向直方图组成的特征矢量, 的维数为128×1,i1为正整数,i1的初始值为1,1≤i1≤M1,M1表示Sv'中的关键点的总个数,M1的值根据具体的Sv'确定。
[0056] 在本实施例中,步骤①_6中的 的获取过程为:
[0057] ①_6a、对Sv'中的所有像素点在水平0°度方向进行扫描,得到Sv'在水平0°度方向的灰度共生矩阵,记为{p0°(j1,j2)|1≤j1≤J,1≤j2≤J};其中,j1和j2均为正整数,1≤j1≤J,1≤j2≤J,j1≠j2,J表示Sv'中所包含的灰度级的总数目,p0°(j1,j2)表示Sv'中灰度值为j1的像素点与灰度值为j2的像素点在水平0°度方向同时出现的概率。
[0058] 对Sv'中的所有像素点在右对角45°度方向进行扫描,得到Sv'在右对角45°度方向的灰度共生矩阵,记为{p45°(j1,j2)|1≤j1≤J,1≤j2≤J};其中,p45°(j1,j2)表示Sv'中灰度值为j1的像素点与灰度值为j2的像素点在右对角45°度方向同时出现的概率。
[0059] 对Sv'中的所有像素点在垂直90°度方向进行扫描,得到Sv'在垂直90°度方向的灰度共生矩阵,记为{p90°(j1,j2)|1≤j1≤J,1≤j2≤J};其中,p90°(j1,j2)表示Sv'中灰度值为j1的像素点与灰度值为j2的像素点在垂直90°度方向同时出现的概率。
[0060] 对Sv'中的所有像素点在左对角135°度方向进行扫描,得到Sv'在左对角135°度方向的灰度共生矩阵,记为{p135°(j1,j2)|1≤j1≤J,1≤j2≤J};其中,p135°(j1,j2)表示Sv'中灰度值为j1的像素点与灰度值为j2的像素点在左对角135°度方向同时出现的概率。
[0061] ①_6b、根据{p0°(j1,j2)|1≤j1≤J,1≤j2≤J},计算Sv'在水平0°度方向的能量、熵、对比度、同质性特征,对应记为E0°、H0°、C0°、R0°,其中,符号“||”为取绝对值符号。
[0062] 根据{p45°(j1,j2)|1≤j1≤J,1≤j2≤J},计算Sv'在右对角45°度方向的能量、熵、对比度、同质性特征,对应记为E45°、H45°、C45°、R45°,
[0063] 根据{p90°(j1,j2)|1≤j1≤J,1≤j2≤J},计算Sv'在垂直90°度方向的能量、熵、对比度、同质性特征,对应记为E90°、H90°、C90°、R90°,
[0064] 根据{p135°(j1,j2)|1≤j1≤J,1≤j2≤J},计算Sv'在左对角135°度方向的能量、熵、对比度、同质性特征,对应记为E135°、H135°、C135°、R135°,
[0065] ①_6c、计算E0°、E45°、E90°和E135°的均值和方差,对应记为μE和σE,[0066] 计算H0°、H45°、H90°和H135°的均值和方差,对应记为μH和σH,
[0067] 计算C0°、C45°、C90°和C135°的均值和方差,对应记为μC和σC,
[0068] 计算R0°、R45°、R90°和R135°的均值和方差,对应记为μR和σR,
[0069] ①_6d、将μE、σE、μH、σH、μC、σC、μR和σR按序排列构成Sv'的纹理特征矢量[0070] 步骤①_7、将{Sv',ρv'|1≤v'≤N×2L}中的每幅失真卫星立体图像的结构特征矢量和纹理特征矢量排列构成{Sv',ρv'|1≤v'≤N×2L}中的每幅失真卫星立体图像的特征矢量,将Sv'的特征矢量记为Fv', 其中,符号“[]”为矢量表示符号,为 的转置, 为 的转置, 为 的转置,Fv'的
维数为136×1。
[0071] 步骤①_8、将{Sv',ρv'|1≤v'≤N×2L}中的所有失真卫星立体图像各自的特征矢量和检测准确度构成训练样本数据集合,训练样本数据集合中包含N×2L个特征矢量和N×2L个检测准确度;然后采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有特征矢量进行训练,使得经过训练得到的回归函数值与检测准确度之间的误差最小,拟合得到最优的权重矢量wopt和最优的偏置项bopt;接着利用最优的权重矢量wopt和最优的偏置项bopt,构造预测模型,记为f(F), 其中,f()为函数表示形式,F
用于表示失真卫星立体图像的特征矢量,且作为预测模型的输入矢量,(wopt)T为wopt的转置, 为F的线性函数。
[0072] 所述的测试阶段过程的具体步骤为:
[0073] 步骤②_1、对于任意一幅用作测试的失真卫星立体图像,将其记为Stest;其中,Stest的宽度为W'且高度为H',W'可与W相同或不相同,H'可与H相同或不相同。
[0074] 步骤②_2、按照步骤①_6的过程,以相同的操作,获取Stest的特征矢量,记为Ftest;其中,Ftest的维数为136×1。
[0075] 步骤②_3、利用训练阶段构造的预测模型f(F)对Ftest进行测试,预测得到Ftest对应的预测值,将该预测值作为Stest的检测准确度,记为ρtest, 其中,为Ftest的线性函数。
[0076] 为了进一步说明本发明方法的可行性和有效性,对本发明方法进行试验。
[0077] 在本实施例中,采用本发明方法对宁波大学建立的卫星立体图像数据库进行测试,该卫星立体图像数据库包含20幅原始卫星立体图像,对每幅原始卫星立体图像进行10个不同等级的模糊失真和10个不同等级的高斯噪声失真,共得到400幅失真卫星立体图像,每幅失真卫星立体图像指定一个[0,1]范围内的检测准确度值,1表示检测质量为优,0表示检测质量为劣。
[0078] 在本实施例中,利用评估图像质量评价方法的2个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient,PLCC)、Spearman相关系数(Spearman rank order correlation coefficient,SROCC),PLCC反映客观质量评价预测值的准确性,SROCC反映其单调性。表1给出了采用本发明方法预测的检测准确度值与真实的检测准确度值之间的相关性,从表1中可以看出,即使采用不同比例的原始卫星立体图像的所有失真卫星立体图像及其检测准确度构成训练集,采用本发明方法预测的检测准确度值与真实的检测准确度值之间的相关性是很高的,足以说明本发明方法的有效性。
[0079] 表1采用本发明方法预测的检测准确度值与真实的检测准确度值之间的相关性[0080]

附图说明

[0041] 图1为本发明方法的总体实现框图。
专利联系人(活跃度排行)
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号