[0047] 以下结合附图实施例对本发明作进一步详细描述。
[0048] 本发明提出的一种自由视点视频质量评估方法，其总体实现框图如图1所示，其包括以下步骤：
[0049] 步骤一：将待评价的失真自由视点视频记为SQdis，并将SQdis对应的原始的自由视org dis dis,L dis,R org点视频记为SQ ；将SQ 的左视点视频和右视点视频对应记为SQ 和SQ ，将SQ 的左视点视频和右视点视频对应记为SQorg,L和SQorg,R。
[0050] 步骤二：将SQdis,L中的每帧和SQdis,R中的每帧从YUV颜色空间转换到LAB颜色空间，得到SQdis,L中的每帧和SQdis,R中的每帧的L通道、A通道和B通道；同样，将SQorg,L中的每帧和SQorg,R中的每帧从YUV颜色空间转换到LAB颜色空间，得到SQorg,L中的每帧和SQorg,R中的每帧的L通道、A通道和B通道。
[0051] 步骤三：计算SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的绝对差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的绝对差值图记为 然后对SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应dis,L org,L通道的绝对差值图进行修正，得到SQ 中除第1帧外的每帧的各个通道与SQ 中的对应帧的对应通道的修正绝对差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的修正绝对差值图记为 接着根据灰度共生矩阵及SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的修正绝对差值图，计算SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的空域差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的空域差值图记为 再对SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的空域差值图进行修正，得到SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的时空域差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的时空域差值图记为 其中，i为正整数，2≤i≤Nframe，Nframe表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中包含的帧的总帧数，j＝1,2,3，j＝1时表示L通道，j＝2时表示A通道，j＝3时表示B通道；图2a给出了原始Book Arrival序列的左视点视频中的一帧；图2b给出了失真Book Arrival序列的左视点视频中的对应帧；图2c给出了图2b所示的帧的第1个通道与图2a所示的帧的第1个通道的绝对差值图。
[0052] 按照获取SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的时空域差值图的过程，以相同的操作方式获取SQdis,R中除第1帧外的每帧的各个通道与SQorg,R中的对应帧的对应通道的时空域差值图，将SQdis,R中的第i帧的第j个通道与SQorg,R中的第i帧的第j个通道的时空域差值图记为
[0053] 在本实施例中，步骤三中， 的获取过程为：将 中坐标位置为(x,y)的像素点的像素值记为 其中，1≤x≤W,1≤ydis,L dis,R org,L org,R 示 dis,L和 dis,R org,L
≤H，W表示SQ 和SQ 及SQ 和SQ 各自中的帧的宽度，H表 SQ SQ 及SQ
和SQorg,R各自中的帧的高度，符号“||”为取绝对值符号， 表示SQdis,L中的第i帧org,L
的第j个通道 中坐标位置为(x,y)的像素点的像素值， 表示SQ 中的第
i帧的第j个通道 中坐标位置为(x,y)的像素点的像素值。
[0054] 在本实施例中，步骤三中， 的获取过程为：将 中坐标位置为(x,y)的像素点的像素值记为 其中， 表示 中坐标位置为(x,y)的像素点的像素值，PiL(x,y)表示SQdis,L中的第i帧或SQorg,L中的第i帧的深度图中坐标位置为(x,y)的像素点的像素值。
[0055] 在本实施例中，步骤三中， 的获取过程为：
[0056] A1)将SQorg,L中的第i帧的第j个通道划分成Nblock个互不重叠的尺寸大小为Block×Block的图像块，将SQorg,L中的第i帧的第j个通道中的第k个图像块记为 其中，Block＝4,8,16,32,64，在本实施例中取Block＝8， 符号为向下取整运算符号，W表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的宽度，H表示dis,L dis,R org,L org,R
SQ 和SQ 及SQ 和SQ 各自中的帧的高度，k为正整数，1≤k≤Nblock。
[0057] A2)利用灰度共生矩阵计算SQorg,L中的第i帧的第j个通道中的每个图像块的纹理复杂度，将 的纹理复杂度记为
[0058] A3)计算SQorg,L中的第i帧的第j个通道的纹理复杂图，记为 将 中坐标位置为(x,y)的像素点的像素值记为 若 中坐标位置为(x,y)的像素点所
在的图像块为第k个图像块，则 其中，1≤x≤W,1≤y≤H。
[0059] A4)计算 将 中坐标位置为(x,y)的像素点的像素值记为其中， 表示 中坐标位置为(x,y)的像
素点的像素值。
[0060] 在本实施例中，步骤三中， 的获取过程为：将 中坐标位置为(x,y)的像素点的像素值记为其中，1≤x≤W,1≤y≤
H，W表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的宽度，H表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的高度， 表示 中坐标位置为(x,y)的像素点的像素值，
符号“||”为取绝对值符号， 表示 中坐标
位置为(x,y)的像素点的像素值， 表示SQdis,L中的第i-1帧的第j个通道与SQorg,L中的第i-1帧的第j个通道的绝对差值图 中坐标位置为(x,y)的像素点的像素值，
表示SQorg,L中的第i帧的第j个通道中的运动区域中的所有像素点的坐标位置的集合，SQorg,L中的第i帧的第j个通道中的运动区域的确定过程为：对于SQorg,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点，判断 是否成立，如果成立，则确定SQorg
,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于运动区域；否则，确定SQorg,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于静止区域；其中，thL表示左运动区域判定阈值，左运动区域判定阈值thL的获取过程为：计算SQorg,L中的第i帧的第j个通道中的每个像素点的像素值与SQorg,L中的第i-1帧的第j个通道中的对应像素点的像素值的差值的绝对值；然后将W×H个绝对值按从大到小的顺序排列后取第 个绝对值
L
作为th的值；其中，符号 为向上取整运算符号。
[0061] 步骤四：提取出SQdis,L中除第1帧外的每帧的各个通道中的失真关键区域，SQdis,L中的第i帧的第j个通道中的失真关键区域的提取过程为：对于SQdis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点，判断 是否成立，如果成立，则确定SQdis,Ldis,L
中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于失真关键区域；否则，确定SQ中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于非失真关键区域；其中，1≤x≤W,
1≤y≤H，W表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的宽度，H表示SQdis,L和SQdis,R及org,L org,R
SQ 和SQ 各自中的帧的高度， 表示 中坐标位置为(x,y)的像素点的像
素值，ThL表示左失真关键区域判定阈值，ThL的值等于 中的所有像素点的像素值按从大到小的顺序排列后的前α个像素值的平均值， 符号 为向上取
整运算符号；图2d给出了图2b所示的帧的第1个通道中的失真关键区域。
[0062] 按照提取SQdis,L中除第1帧外的每帧的各个通道中的失真关键区域的过程，以相同的操作方式提取出SQdis,R中除第1帧外的每帧的各个通道中的失真关键区域。
[0063] 步骤五：利用结构相似度(SSIM，Structural Similarity Index)算法，计算SQdis,L中除第1帧外的每帧的第1个通道中的失真关键区域中的每个像素点与SQorg,L中的对应帧的第1个通道中的对应像素点之间的结构相似度；然后计算SQdis,L中除第1帧外的每帧的第1个dis,L通道的质量分数，将SQ 中的第i帧的第1个通道的质量分数记为 的值等于
SQdis,L中的第i帧的第1个通道中的失真关键区域中的所有像素点对应的结构相似度的平均值；并利用对比度计算SQdis,L中除第1帧外的每帧的第2个通道中的失真关键区域中的每个像素点与SQorg,L中的对应帧的第2个通道中的对应像素点之间的对比度；然后计算SQdis,L中除第1帧外的每帧的第2个通道的质量分数，将SQdis,L中的第i帧的第2个通道的质量分数记为 的值等于SQdis,L中的第i帧的第2个通道中的失真关键区域中的所有像素点对
应的对比度的平均值；同样，利用对比度计算SQdis,L中除第1帧外的每帧的第3个通道中的失真关键区域中的每个像素点与SQorg,L中的对应帧的第3个通道中的对应像素点之间的对比度；然后计算SQdis,L中除第1帧外的每帧的第3个通道的质量分数，将SQdis,L中的第i帧的第3个通道的质量分数记为 的值等于SQdis,L中的第i帧的第3个通道中的失真关键区
域中的所有像素点对应的对比度的平均值。
[0064] 按照计算SQdis,L中除第1帧外的每帧的第1个通道的质量分数、SQdis,L中除第1帧外的每帧的第2个通道的质量分数、SQdis,L中除第1帧外的每帧的第3个通道的质量分数的过程，以相同的操作方式计算SQdis,R中除第1帧外的每帧的第1个通道的质量分数、SQdis,R中除第1帧外的每帧的第2个通道的质量分数、SQdis,R中除第1帧外的每帧的第3个通道的质量分数，将SQdis,R中的第i帧的第1个通道的质量分数记为 将SQdis,R中的第i帧的第2个通道的质量分数记为 将SQdis,R中的第i帧的第3个通道的质量分数记为
[0065] 步骤六：对SQdis,L中除第1帧外的每帧的三个通道的质量分数进行融合，并设定第1个通道的融合参数为β、第2个通道的融合参数为γ、第3个通道的融合参数为η，融合得到SQdis,L中除第1帧外的每帧的质量分数，将SQdis,L中的第i帧的质量分数记为 同样，对SQdis,R中除第1帧外的每帧的三个通道的质量分数进行融合，并设定第1个通道的融合参数为β、第2个通道的融合参数为γ、第3个通道的融合参数为η，融合得到SQdis,R中除第1帧外的每帧的质量分数，将SQdis,R中的第i帧的质量分数记为 然后计算SQdis,L中除第1帧外的dis,R每帧的质量分数与SQ 中的对应帧的质量分数的平均质量分数，将 与 的平均质
量分数记为 再将计算得到的Nframe-1个平均质量分数按从小到大
的顺序排列，取前35～55％的平均质量分数；最后将所取的平均质量分数的平均值作为SQdis的质量分数，记为qdis；其中，β+γ+η＝1，β＞γ，γ＝η，在本实施例中取β＝0.8、γ＝
0.1、η＝0.1，在本实施例中取前40％的平均质量分数的平均值作为SQdis的质量分数。
[0066] 步骤七：构建一个自由视点视频库，自由视点视频库中包含有三种不同的自由视点视频，第一种自由视点视频的左视点视频由相机拍摄获得、右视点视频由虚拟视点绘制获得，第二种自由视点视频的左视点视频由虚拟视点绘制获得、右视点视频由相机拍摄获得，第三种自由视点视频的左视点视频由虚拟视点绘制获得、右视点视频由虚拟视点绘制获得，三种不同的自由视点视频均至少有2个自由视点视频；然后按照获取 的过程，以相同的操作方式获取自由视点视频库中的每个自由视点视频的左视点视频中的第t帧的第1个通道与原始自由视点视频的左视点视频中的第t帧的第1个通道的绝对差值图、自由视点视频库中的每个自由视点视频的右视点视频中的第t帧的第1个通道与原始自由视点视频的右视点视频中的第t帧的第1个通道的绝对差值图；接着计算自由视点视频库中的每个自由视点视频对应的两幅绝对差值图中的所有像素点的像素值的和值；之后将计算得到的所有和值按从大到小的顺序排列，将前5％内的最大和值和最小和值对应记为Hmax和Hmin；再计算SQdis,L中的第t帧的第1个通道与SQorg,L中的第t帧的第1个通道的绝对差值图 和SQdis,R中的第t帧的第1个通道与SQorg,R中的第t帧的第1个通道的绝对差值图 中的所有像素点的像素值的和值，记为Ht,1；最后判断Ht,1∈[Hmin,Hmax]是否成立，如果成立，则将SQdis确定为第一种特殊自由视点视频；否则，执行步骤八；其中，第t帧为任意一帧，t∈[1,Nmin]，Nmin的值为Nframe、自由视点视频库中的每个自由视点视频中包含的帧的数目、原始自由视点视频中包含的帧的数目中的最小值，原始自由视点视频是在构建自由视点视频库时获得，原始自由视点视频的左视点视频由相机拍摄获得、右视点视频由相机拍摄获得。
[0067] 步骤八：由于人眼对图像中的空洞十分敏感，根据主观打分值可以得知，只要存在空洞，就会造成差的主观感知，因此当SQdis,L中的任意一帧的第1个通道中存在空洞而SQdis,R中的对应帧的第1个通道中不存在空洞时，或当SQdis,L中的任意一帧的第1个通道中不存在空洞而SQdis,R中的对应帧的第1个通道中存在空洞时，将SQdis确定为第二种特殊自由视点视频；当SQdis,L中的任意一帧的第1个通道中存在空洞且SQdis,R中的对应帧的第1个通道中存在空洞时，或当SQdis,L中的任意一帧的第1个通道中不存在空洞而SQdis,R中的对应帧的第1个通道中不存在空洞时，将SQdis确定为非特殊自由视点视频。
[0068] 步骤九：根据SQdis的类型计算SQdis的最终质量分数，记为 若SQdis为非特殊自由视点视频，则令 若SQdis为第一种特殊自由视点视频，则令 若SQdis为第二种特殊自由视点视频，则令 其中，Δb表示修正量，Δb∈(0,1]，
在本实施例中取Δb＝0.3。
[0069] 在此，Δb＝0.3是通过实验确定的，以按照步骤七的方式自行构建的自由视点视频库为实验对象，图3a给出了Δb取值为0.1时SROCC指标输出的变化示意图，X轴为利用本发明方法中的步骤六计算得到的所有平均质量分数按从小到大的顺序排列后取20％平均质量分数，Y轴为第1通道的融合参数0.6，Z轴为SROCC指标(最优为0.6358)；图3b给出了Δb取值为0.3时SROCC指标输出的变化示意图，X轴为利用本发明方法中的步骤六计算得到的所有平均质量分数按从小到大的顺序排列后取40％平均质量分数，Y轴为第1通道的融合参数0.8，Z轴为SROCC指标(最优为0.7014)；图3c给出了Δb取值为0.5时SROCC指标输出的变化示意图，X轴为利用本发明方法中的步骤六计算得到的所有平均质量分数按从小到大的顺序排列后取40％平均质量分数，Y轴为第1通道的融合参数0.8，Z轴为SROCC指标(最优为0.6761)；图3d给出了Δb取值为0.7时SROCC指标输出的变化示意图，X轴为利用本发明方法中的步骤六计算得到的所有平均质量分数按从小到大的顺序排列后取20％平均质量分数，Y轴为第1通道的融合参数0.6，Z轴为SROCC指标(最优为0.6660)。分析图3a至图3d可知，Δb取值为0.1和0.7、X轴为0.2、Y轴为0.6时Z轴的最优输出均低于0.67，Δb取值为0.3和0.5、X轴为0.4、Y轴为0.8时Z轴的最优输出均高于0.67，而X轴均为0.4且Y轴均为0.8时当Δb取值为0.3时Z轴的最优输出(0.7014)明显高于当Δb取值为0.5时Z轴的最优输出(0.6761)，可知Δb取值为0.3时能取得最佳的效果。
[0070] 为了验证本发明方法的可行性和有效性，对本发明方法进行实验。
[0071] 采用的测试序列为Book Arrival、Newspaper、Lovebirds序列，采用SROCC、Pearson相关系数(PLCC，Pearson Linear Correlation Coefficient)、均方根误差(RMSE，Root Mean Squared Error)以及Kendall秩相关系数(KROCC，Kendall rank-order correlation coefficient)四种评价指标衡量本发明方法的性能。利用本发明方法计算每个测试序列的最终质量分数，再利用现有的Logistic 5参数拟合方法对每个测试序列的最终质量分数进行参数拟合得到拟合后的最终质量分数，将每个测试序列拟合后的最终质量分数与人眼主观实验得出的相对应的质量分数进行SROCC、PLCC、RMSE和KROCC指标的计算，得出相应的实验结果。表1给出了各个客观评价方法的评价指标，其中文献1为Mittal等人发表的“一个盲参考视频完整性评价策略”，文献2为Chen等人发表的“基于双目竞争的全参考立体图像质量评价”，方法(L)是指按本发明方法的过程单独在亮度通道下操作的方法，方法(RGB)是指按本发明方法的过程在RGB颜色空间中操作的方法。
[0072] 从表1中可得出，本发明方法(LAB)的客观评价结果与人眼主观评价结果有较好的一致性，各个评价指标均优于所对比的相关图像/视频质量客观评价方法。PSNR、SSIM传统质量客观评价方法，未考虑自由视点视频的失真特点，故不能将其直接运用于自由视点视频的质量评价中。文献1提出的无参考视频质量评价方法，该方法认为失真视频会破坏某些时空域的自然统计特性，通过量化待测视频与原始视频的统计特性之间的差异得出待测视频的质量分数，从实验结果来看，该方法并不适合多组合方式下的自由视点视频的质量评估，因为该方法所选取的统计特性对传统压缩失真有效，但对自由视点视频失真无效，且该方法未考虑视频视点之间的多组合方式对人眼观看时的影响，故该方法不适用于自由视点视频的质量评价。文献2是在双目效应的基础上提出的一种立体图像质量评价的框架，该方法模拟人眼观看立体图像的情景，将左视点图像和右视点图像合成一张图像，称为“独眼图”，通过衡量参考立体图像的“独眼图”和失真立体图像的“独眼图”的差异程度，得出待测立体图像的质量分数，但在独眼图的获取时未考虑自由视点视频的失真特殊性，因此该方法不适用于自由视点视频的质量评价。
[0073] 为探索色度通道的有效性，观察方法(L)的各个评价指标，各个评价指标都低于将色度失真考虑在内的情况(本发明方法)，故加入色度失真可提高客观评价方法的准确性；为了验证LAB颜色空间的优越性，观察方法(RGB)和本发明方法的各个评价指标，LAB颜色空间下的KROCC、SROCC和RMSE三个指标在均优于RGB颜色空间，只有PLCC指标略低于RGB颜色空间，因此，将自由视点视频序列进行LAB颜色空间转换会提高客观评价方法的准确性。
[0074] 为进一步探究本发明方法的有效性，图4a给出了Book Arrival序列的主观打分值(DMOS)与客观拟合后的最终质量分数的散点图，图4b给出了Newspaper序列的主观打分值(DMOS)与客观拟合后的最终质量分数的散点图，图4c给出了Lovebirds序列的主观打分值(DMOS)与客观拟合后的最终质量分数的散点图。从图4a至图4c中可以看出，相对于Book Arrival和Newspaper两个序列，Lovebirds序列的拟合性差了些，究其原因，本发明方法旨在通过视差纹理等特征提取到人眼能够感知的失真关键区域，在此基础上量化差异值，得出客观质量评价结果，但对于Lovebirds序列，其背景与前景的各项特征之间的差异都很小，未找到一个特征将背景与前景完全区分开，所以在所提取的失真关键区域中也包含了部分背景区域，但这部分人眼在进行主观打分时几乎观察不到失真，故造成了Lovebirds序列的客观拟合后的最终质量分数与主观打分值的拟合性较差。
[0075] 表1各个客观评价方法的评价指标
[0076]
