[0028] 以下结合附图实施例对本发明作进一步详细描述。
[0029] 本发明提出的一种基于稀疏表示的立体图像视觉显著提取方法,其总体实现框图如图1所示,其包括字典学习阶段和显著预测阶段两个过程。
[0030] 所述的字典学习阶段的具体步骤如下:
[0031] ①_1、选取K幅宽度为W且高度为H的立体图像,将第k幅立体图像记为SRGB,k,将SRGB,k的左视点图像记为{LRGB,k(x,y)},将SRGB,k的右视点图像记为{RRGB,k(x,y)},其中,1≤K≤100,如可取K=60,1≤k≤K,1≤x≤W,1≤y≤H,LRGB,k(x,y)表示{LRGB,k(x,y)}中坐标位置为(x,y)的像素点的像素值,RRGB,k(x,y)表示{RRGB,k(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0032] ①_2、根据每幅立体图像的左视点图像和右视点图像,并采用现有的块匹配方法,计算每幅立体图像的左视点图像与右视点图像之间的视差图像,将{LRGB,k(x,y)}与{RRGB,k(x,y)}之间的视差图像记为{dk(x,y)},其中,dk(x,y)表示{dk(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0033] ①_3、采用现有的LOG(Laplacian of Gaussian)滤波方法,对每幅立体图像的左视点图像进行操作,得到每幅立体图像的左视点图像的左视点视觉特征图,将{LRGB,k(x,y)}的左视点视觉特征图记为{LLOG,k(x,y)},其中,LLOG,k(x,y)表示{LLOG,k(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0034] 同样,采用现有的LOG滤波方法,对每幅立体图像的右视点图像进行操作,得到每幅立体图像的右视点图像的右视点视觉特征图,将{RRGB,k(x,y)}的右视点视觉特征图记为{RLOG,k(x,y)},其中,RLOG,k(x,y)表示{RLOG,k(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0035] ①_4、根据每幅立体图像的左视点图像和右视点图像、左视点图像与右视点图像之间的视差图像、左视点图像的左视点视觉特征图和右视点图像的右视点视觉特征图,计算每幅立体图像的左右视点融合图像,将SRGB,k的左右视点融合图像记为{RL,R,k(x,y)},其中,RL,R,k(x,y)表示{RL,R,k(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0036] 在此具体实施例中,步骤①_4中的其中,
RRGB,k(x+dk(x,y),y)表示{RRGB,k(x,y)}中坐标位置为(x+dk(x,y),y)的像素点的像素值,RLOG,k(x+dk(x,y),y)表示{RLOG,k(x,y)}中坐标位置为(x+dk(x,y),y)的像素点的像素值。
[0037] ①_5、采用现有的K-SVD(K-means Singular Value Decomposition)方法,对所有立体图像的左右视点融合图像进行联合字典训练操作,得到融合图像字典表,记为{Dc(x,y)},其中,Dc(x,y)表示{Dc(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0038] 所述的显著预测阶段的具体步骤如下:
[0039] ②_1、令SRGB表示宽度为W且高度为H的待视觉显著提取的立体图像,将SRGB的左视点图像记为{LRGB(x,y)},将SRGB的右视点图像记为{RRGB(x,y)},其中,1≤x≤W,1≤y≤H,LRGB(x,y)表示{LRGB(x,y)}中坐标位置为(x,y)的像素点的像素值,RRGB(x,y)表示{RRGB(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0040] ②_2、根据{LRGB(x,y)}和{RRGB(x,y)},采用现有的块匹配方法,计算{LRGB(x,y)}与{RRGB(x,y)}之间的视差图像,记为{d(x,y)},其中,d(x,y)表示{d(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0041] ②_3、采用现有的LOG滤波方法,对{LRGB(x,y)}进行操作,得到{LRGB(x,y)}的左视点视觉特征图,记为{LLOG(x,y)},其中,LLOG(x,y)表示{LLOG(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0042] 同样,采用现有的LOG滤波方法,对{RRGB(x,y)}进行操作,得到{RRGB(x,y)}的右视点视觉特征图,记为{RLOG(x,y)},其中,RLOG(x,y)表示{RLOG(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0043] ②_4、根据{LRGB(x,y)}和{RRGB(x,y)}、{d(x,y)}、{LLOG(x,y)}和{RLOG(x,y)},计算SRGB的左右视点融合图像,记为{RL,R(x,y)},其中,RL,R(x,y)表示{RL,R(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0044] 在此具体实施例中,步骤②_4中的其中,
RRGB(x+d(x,y),y)表示{RRGB(x,y)}中坐标位置为(x+d(x,y),y)的像素点的像素值,RLOG(x+d(x,y),y)表示{RLOG(x,y)}中坐标位置为(x+d(x,y),y)的像素点的像素值。
[0045] ②_5、根据字典学习阶段得到的融合图像字典表{Dc(x,y)},并采用现有的K-SVD求解方法对{RL,R(x,y)}进行处理,得到SRGB的融合稀疏特征图,记为{SR(x,y)},其中,SR(x,y)表示{SR(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0046] ②_6、采用现有的中央周边差操作(Center-surround difference operations)对{SR(x,y)}中的所有像素点的像素值进行处理,得到SRGB的视觉显著图,记为{S(x,y)},其中,S(x,y)表示{S(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0047] 为了验证本发明方法的可行性和有效性,进行实验。
[0048] 在此,采用法国南特大学提供的三维人眼跟踪数据库(3Deye-tracking database)来分析本发明方法的提取准确性和提取稳定性。这里,利用评估视觉显著提取方法的3个常用客观参量作为评价指标,即Pearson相关系数(Pearson linear correlation coefficient,PLCC)、Kullback-Leibler散度系数(Kullback-Leibler divergence,KLD)、AUC参数(the Area Under the receiver operating characteristics Curve,AUC)。
[0049] 利用本发明方法获取法国南特大学提供的三维人眼跟踪数据库中的每幅立体图像的视觉显著图,并与三维人眼跟踪数据库中的每幅立体图像的主观视觉显著图(三维人眼跟踪数据库中存在)进行比较,PLCC和AUC值越高、KLD值越低说明本发明方法提取的视觉显著图与主观视觉显著图的一致性越好。反映本发明方法的显著提取性能的PLCC、KLD和AUC相关指标如表1所列。从表1所列的数据可知,按本发明方法提取得到的视觉显著图的提取准确性和提取稳定性是很好的,表明客观提取结果与人眼主观感知的结果较为一致,足以说明本发明方法的可行性和有效性。
[0050] 表1 利用本发明方法提取得到的视觉显著图的提取准确性和提取稳定性[0051] 性能指标 性能指标值PLCC 0.405
KLD 0.670
AUC 0.673