融合颜色对比图和颜色空间分布图的图像显著性检测方法   0    0

[0001] 本发明属于计算机图像处理领域，涉及检测图像的显著性区域，具体涉及融合颜色对比图和颜色空间分布图的图像显著性检测方法。

[0002] 图像的显著性检测是将图像中最重要的、包含丰富信息的区域标记出来。显著性检测在图像分割、图像压缩、图像检索、目标识别等领域具有重要应用，对于图像的理解及处理有着重要的应用价值。如何快速准确地从大量的图像信息中检索到人们想要关注的信息是一个极其重要的课题。研究发现人类的视觉系统具有视觉选择性能力，并且人类的视觉系统主要分为两种，即自底向上策略注意机制和自顶向下策略注意机制。前者是利用图像的颜色、亮度、边缘等特征来计算，而后者主要针对图像的特定特征来计算图像的显著性区域。由于目前所检测的图像大多是不确定的、无目标的区域，因此大多数的算法均为自底向上模型。

[0003] 下面对国内外的基于自底向上的图像显著性检测方法进行介绍。其中，最早由Itti等人(“A Model of Saliency-Based Visual Attention for Rapid Scene Analysis”)于1998年提出的著名的生物启发模型，根据视觉系统的行为和神经网络结构，提取图像的亮度、颜色以及方向特征，利用中心-周边差来得到图像在不同尺度下的特征。在Itti模型的基础上Hofmann等人(“Graph-Based Visual Saliency”)于2006年提出了基于图论的GBVS算法，该算法采用Itti的特征提取方法，把像素点(或者图像块)作为节点并计算节点间的差异得到一个带权无向图，最后利用Markov链计算最终的显著图。Zhai等人(“attention detection in video sequences using spatiotemporal cues”)于2006年提出的LC算法，可以通过计算每个像素与其余像素灰度信息的差异计算得到显著图，但缺少色彩信息。Hou等人(“A Spectral Residual Approach”)于2007年从频域角度提出了频谱差法SR，利用图像的傅里叶频谱与平均频谱之差做反傅里叶变换得到显著图。该方法适用于尺寸较小的显著目标，但显著图往往只有注视点区域，没有清晰边界。Achanta等人(“Salient region detection and segmentation”)于2008年提出的AC算法中，显著性被定义为图像区域相对于其在多尺度下的邻域的局部对比度，是一种全分辨算法，可得到清晰的边界信息。Achanta等人(“Frequency-tuned Salient Region Detection”)于2009年提出一种基于DOG算子的频域调制算法FT，该算法利用图像在lab色彩空间中每个通道与色彩均值之差，可得到全局对比度的显著图。Cheng等人(“Global Contrast based Salient Region Detection”)于2011年提出了基于全局对比度的检测方法。该方法对量化后的图像建立颜色直方图，通过计算每种颜色与其他颜色之间的差异度来获取直方图对比度(HC)。
利用上述直方图把图像分割为不同的颜色块，再组合空间关系来计算每个区域的显著值(RC)，最后得到基于区域对比度的显著图。Hornung等人(“Contrast based filtering for salient region”)于2012年提出了一种基于滤波来提高计算效率的方法，显著图的计算元素是SLIC超像素分割后的每一个超像素块，综合颜色对比度和颜色分布方差来计算显著图。郭迎春等人(“基于Local特征和Regional特征的图像显著性检测”)于2013年利用图像在多个尺度下计算得到的子块的局部特征和区域特征进行自然图像的显著性检测。张旭东等人(“结合区域协方差分析的图像显著性检测”)于2016年提出了一种基于协方差矩阵的检测方法，但部分显著目标不完整。

[0004] 本发明的目的是针对现有技术的不足，提出一种利用超像素分割与聚类分割结合计算图像颜色对比度和颜色空间分布性的显著性检测方法。该方法能够有效地抑制背景区域的显著性，检测出图像准确的显著性区域，特别是一些以往仅以颜色为特征的检测方法只能检测出错误区域的特殊图像，该方法可以根据颜色空间分布信息改正偶然错误的颜色对比图而得到最终准确的显著图。

[0005] 本发明的具体步骤如下：

[0006] 步骤1、将输入图像进行平滑处理，得到平滑图像。

[0007] 步骤2、利用SLIC超像素分割算法将平滑图像分割成超像素图，并计算每个超像素的平均颜色和平均位置：

[0008]

[0009] 其中，Ri表示第i个超像素，像素Ii∈Ri， 为像素Ii的颜色向量， 为像素Ii的位置向量，ci为Ri中所有像素的平均颜色向量，pi为Ri中所有像素的平均位置向量，|Ri|表示Ri中像素的个数。

[0010] 步骤3、利用中心-周围原则计算超像素图中每个超像素的颜色对比值Fi，得到颜色对比图。

[0011]

[0012]

[0013] 其中，C(ci,cj)＝||ci-cj||表示ci与cj的欧氏距离，Wp(pi,pj)是调节对比值的空间权重，P(pi,pj)＝||pi-pj||表示pi与pj的欧氏距离。1/Zi是使得 的归一化因子，σp取值0.5，exp为指数运算，N＝|Ri|-1，cj为Rj中所有像素的平均颜色向量，pj为Rj中所有像素的平均位置向量，Rj表示第j个超像素。

[0014] 步骤4、利用K-Means聚类算法把平滑图像按照颜色聚类分割为M个类，M≤10，得到聚类图，类又称为颜色分量。按下式计算每个颜色分量的平均颜色和平均位置。

[0015]

[0016] 其中，Gi表示第i个颜色分量，像素Pi∈Gi， 为像素Pi的颜色向量，颜色向量采用l分量、a分量和b分量表达， 为像素Pi的位置向量；cgi为颜色分量Gi的平均颜色向量，即颜色分量Gi在颜色上的聚类中心；pgi为颜色分量Gi的平均位置向量，即颜色分量Gi在空间上的聚类中心，|Gi|表示颜色分量Gi中像素的个数。

[0017] 步骤5、计算聚类图中的类间空间方差、类内空间方差以及类内颜色方差。

[0018]

[0019]

[0020]

[0021] 其中，Viin和Viout分别表示颜色分量Gi的类内空间方差和类间空间方差， 表示颜色分量Gi的类内颜色方差， 表示颜色分量Gj在空间上的聚类中心。

[0022] 步骤6、将步骤5求得的类间空间方差、类内空间方差以及类内颜色方差非线性组合成初步的颜色空间分布值。

[0023]

[0024] 采用高斯权值为类内颜色方差分配权重，即 取5。

[0025] 步骤7、由聚类图得出每个类初步的颜色空间分布值之后，映射到超像素图上进行优化，得到优化的颜色空间分布值Di′，并进行归一化处理，得到优化的颜色空间分布图：

[0026]

[0027]

[0028] 其中，Ui是指超像素Ri的邻接超像素个数；Ki和Kj分别是超像素Ri和超像素Rj的初步的颜色空间分布值，vi指超像素Ri中每个像素点初步的颜色空间分布值。

[0029] 步骤8、融合颜色对比图和优化的颜色空间分布图，得到显著图。

[0030] Si＝Fi·Di′  (11)

[0031] 由于Fi和Di′都与显著图成正比，所以，若某一处超像素的灰度值为零，从公式(11)得出最后的显著图中相应的Si也为零。

[0032] C(ci,cj)表达了超像素Ri与超像素Rj的颜色差，颜色差计算时只取a分量和b分量两个通道的差异。

[0033] 本发明的有益效果：

[0034] 本发明得到的显著图结合了颜色空间分布性，特别地对于颜色高对比度区域并非显著区域的图像，能够高效地检测出准确的显著性目标区域，同时，降低了背景区域的显著性。

[0040] 本实施例中没有详细说明的部分请参照发明内容的描述。

[0041] 如图5所示，融合颜色对比图和颜色空间分布图的图像显著性检测方法，具体步骤如下：

[0042] 步骤1、对于一幅待处理的输入图像，为了高效处理等比例调整长宽最大分辨率为400。为了避免噪声的影响，采用卷积核大小为3*3的高斯低通滤波器将图像进行平滑处理，滤波后得到平滑图像。输入图像与平滑图像分别见图1(a)与图1(b)。

[0043] 步骤2、利用SLIC超像素分割算法(Achanta等人发表的论文“SLIC superpixels compared to state-of-the-art superpixel methods”中提出的超像素分割算法)将平滑图像分割成大约400个超像素，并按照公式(1)计算每个超像素的平均颜色和平均位置，超像素图见图1(c)。

[0044] 步骤3、利用中心-周围原则按照公式(2)、(3)计算每个超像素的颜色对比值Fi，得到颜色对比图，并归一化到[0，1]，颜色对比图见图2(a)。

[0045] 步骤4、利用K-Means聚类算法(Macqueen等人发表的论文“Some Methods for Classification and Analysis of MultiVariate Observations”中的聚类算法)把平滑图像按照颜色向量进行聚类分割，结果为10个类并且每个类中的像素点特征是相似的，类又称为颜色分量。按照公式(4)计算每个颜色分量的平均颜色和平均位置，聚类图见图2(b)。

[0046] 步骤5、按照公式(5)、(6)、(7)分别计算得到聚类图中的类间空间方差、类内空间方差以及类内颜色方差。

[0047] 步骤6、根据步骤5中的类间空间方差、类内空间方差以及类内颜色方差按照公式(8)非线性组合计算得到初步的颜色空间分布图见图2(c)。在计算过程中，和 分别为对类内空间方差、类间空间方差和类内颜色方差三个因子的归一化处理，使得数值范围变成[0，1]。其中，类内空间方差和类间空间方差是与显著性成反比，所以借助指数函数归一化后，类内空间方差和类间空间方差越大越接近于0；类内颜色方差与显著性成正比，所以借助指数函数归一化后，类内颜色方差越大越接近于1。

[0048] 步骤7、在步骤2得到的超像素图中，查找组成每个超像素的所有像素点，在初步颜色空间分布图中对应位置的这些像素点的均值就是超像素的新值，这样就把聚类图中的初步颜色空间分布图映射到了超像素图中，从而得到基于超像素的初步的颜色空间分布图见图3(a)，再根据基于超像素的初步的颜色空间分布图以及超像素之间的差异利用公式(9)进行优化，得到优化的颜色空间分布图见图3(b)，并归一化到[0，1]。

[0049] 步骤8、根据公式(11)融合步骤3和步骤7得到的颜色对比度图和优化的颜色空间分布图得到显著图见图3(c)。

[0050] 步骤9、为了得到二值化图，求取显著图平均灰度值的2倍作为阈值，大于或等于阈值的像素点，赋值为1，小于阈值的像素点，赋值为0，得到二值化图见图4(a)。基准显著图见图4(b)。

[0035] 图1(a)、1(b)、1(c)分别为输入图像、平滑图像与超像素图；

[0036] 图2(a)、2(b)、2(c)分别为颜色对比图、聚类图与初步的颜色空间分布图；

[0037] 图3(a)、3(b)、3(c)分别为基于超像素的初步颜色空间分布图、优化的颜色空间分布图与显著图；

[0038] 图4(a)、4(b)分别为本发明得到的显著图进行二值化后的结果图、基准显著图；

[0039] 图5为本发明的算法流程图。