[0065] 以下结合附图实施例对本发明作进一步详细描述。
[0066] 本发明提出的一种基于图像特征的低分辨率深度图像上采样方法，其总体实现框图如图1所示，其包括以下步骤：
[0067] ①获取一幅与待处理的低分辨率深度图像同一场景的高分辨率彩色图像，然后对高分辨率彩色图像进行最近值下采样操作，以降低高分辨率彩色图像的分辨率，得到低分辨率彩色图像，在最近值下采样操作时确定输出的低分辨率彩色图像的分辨率，要求与待处理的低分辨率深度图像的分辨率一致，即使最近值下采样操作后得到的低分辨率彩色图像的分辨率与待处理的低分辨率深度图像的分辨率一致。
[0068] 在此具体实施例中，步骤①中高分辨率彩色图像的横向分辨率为待处理的低分辨率深度图像的横向分辨率的2n倍，且高分辨率彩色图像的竖直分辨率为待处理的低分辨率深度图像的竖直分辨率的2n倍，其中，n为1或2。如果选取的高分辨率彩色图像的分辨率远高于待处理的低分辨率深度图像的分辨率，则可能会造成上采样后得到的高分辨率深度图像出现边缘模糊，通过大量实验，确定选取的高分辨率彩色图像的分辨率为待处理的低分辨率深度图像的分辨率的2×2n倍时，能够较好地避免上采样后得到的高分辨率深度图像出现边缘模糊。
[0069] ②通过获取低分辨率彩色图像中以每个像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差、低分辨率深度图像中以每个像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差、以低分辨率彩色图像和低分辨率深度图像中对应的像素点为中心的3×3的滑动窗口内的像素点的像素值之间的联合均值，获取低分辨率彩色图像中的每个像素点与低分辨率深度图像中对应像素点之间的相关系数。
[0070] 在此具体实施例中，步骤②的具体过程为：
[0071] ②-1、采用尺寸大小为3×3的滑动窗口在低分辨率彩色图像中逐个像素点移动，计算以低分辨率彩色图像中的每个像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差，将以低分辨率彩色图像中坐标位置为(x,y)的像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差对应记为 和L L L
其中，1≤x≤W ，1≤y≤H，W
L
表示低分辨率彩色图像和低分辨率深度图像的宽度，H表示低分辨率彩色图像和低分辨率深度图像的高度，-1≤m≤1,-1≤n≤1且m和n均为整数， 表示低分
L
辨率彩色图像中坐标位置为(x+m,y+n)的像素点的像素值，如果x+m<1且1≤y+n≤H，则将低分辨率彩色图像中坐标位置为(1,y)的像素点的像素值赋给 如果
L L L
x+m>W且1≤y+n≤H ，则将低分辨率彩色图像中坐标位置为(W,y)的像素点的像素值赋给 如果1≤x+m≤WL且y+n<1，则将低分辨率彩色图像中坐标位置为(x,1)
L L
的像素点的像素值赋给 如果1≤x+m≤W且y+n>H ，则将低分辨率彩色
L
图像中坐标位置为(x,H)的像素点的像素值赋给 如果x+m<1且y+n<1，
则将低分辨率彩色图像中坐标位置为(1,1)的像素点的像素值赋给 如
L L
果x+m>W且y+n<1，则将低分辨率彩色图像中坐标位置为(W ,1)的像素点的像素值赋给L L
如果x+m<1且y+n>H，则将低分辨率彩色图像中坐标位置为(1,H)的像素
L L
点的像素值赋给 如果x+m>W且y+n>H ，则将低分辨率彩色图像中坐标位
L L
置为(W,H)的像素点的像素值赋给
[0072] ②-2、采用尺寸大小为3×3的滑动窗口在低分辨率深度图像中逐个像素点移动，计算以低分辨率深度图像中的每个像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差，将以低分辨率深度图像中坐标位置为(x,y)的像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差对应记为 和L L L
其中，1≤x≤W,1≤y≤H，W
L
表示低分辨率彩色图像和低分辨率深度图像的宽度，H表示低分辨率彩色图像和低分辨率深度图像的高度，-1≤m≤1,-1≤n≤1且m和n均为整数， 表示低分
L
辨率深度图像中坐标位置为(x+m,y+n)的像素点的像素值，如果x+m<1且1≤y+n≤H，则将低分辨率深度图像中坐标位置为(1,y)的像素点的像素值赋给 如
L L L
果x+m>W且1≤y+n≤H ，则将低分辨率深度图像中坐标位置为(W,y)的像素点的像素L
值赋给 如果1≤x+m≤W且y+n<1，则将低分辨率深度图像中坐标位置
L L
为(x,1)的像素点的像素值赋给 如果1≤x+m≤W且y+n>H ，则将低分
L
辨率深度图像中坐标位置为(x,H)的像素点的像素值赋给 如果x+m<1且
y+n<1，则将低分辨率深度图像中坐标位置为(1,1)的像素点的像素值赋给
L
如果x+m>WL且y+n<1，则将低分率深度图像中坐标位置为(W,1)的像素点的像素值赋给L L
如果x+m<1且y+n>H，则将低分辨率深度图像中坐标位置为(1,H)的像素
L L
点的像素值赋给 如果x+m>W且y+n>H ，则将低分辨率深度图像中坐标位置
L L
为(W,H)的像素点的像素值赋给
[0073] ②-3、由于低分辨率彩色图像与低分辨率深度图像相互独立，因此可以联合低分辨率彩色图像和低分辨率深度图像，计算以低分辨率彩色图像中的每个像素点为中心的3×3的滑动窗口和以低分辨率深度图像中对应像素点为中心的3×3的滑动窗口内的像素点的像素值之间的联合均值，将以低分辨率彩色图像中坐标位置为(x,y)的像素点为中心的3×3的滑动窗口和以低分辨率深度图像中坐标位置为(x,y)的像
L
素点为中心的3×3的滑动窗口内的像素点的像素值之间的联合均值记为E(x,y)，
[0074] ②-4、根据相关性系数求取公式，计算低分辨率彩色图像中的每个像素点与低分辨率深度图像中对应像素点之间的相关系数，将低分辨率彩色图像中坐标位置为(x,y)的像素点与低分辨率深度图像中坐标位置为(x,y)的像素点之间的相关系数记为[0075] ③通过计算低分辨率深度图像中的每个像素点的水平方向梯度值和垂直方向梯度值，获得低分辨率深度图像的边缘图像，再根据低分辨率深度图像的边缘图像获取低分辨率深度图像的前景边缘掩膜图像。
[0076] 在此具体实施例中，步骤③的具体过程为：
[0077] ③-1、利用Scharr算子，计算低分辨率深度图像中的每个像素点的水平方向梯度值和垂直方向梯度值。
[0078] ③-2、根据低分辨率深度图像中的每个像素点的水平方向梯度值和垂直方向梯度值，获得低分辨率深度图像的边缘图像，将低分辨率深度图像的边缘图像中坐标位置为(x,y)的像素点的像素值记为IEdge(x,y)，IEdge(x,y)=0.5×HT(x,y)+0.5×VT(x,y)，其中，HT(x,y)表示低分辨率深度图像中坐标位置为(x,y)的像素点的水平方向梯度值，VT(x,y)表示低分辨率深度图像中坐标位置为(x,y)的像素点的垂直方向梯度值。
[0079] ③-3、根据低分辨率深度图像的边缘图像，获取低分辨率深度图像的前景边缘掩膜图像，将低分辨率深度图像的前景边缘掩膜图像中坐标位置为(x,y)的像素点的像素值记为 即如果IEdge(x,y)>T，则确定低分辨率深度图像的边缘图像中坐标位置为(x,y)的像素点为前景边缘像素点，并令IP-Edge(x,y)=255，如果IEdge(x,y)≤T，则确定低分辨率深度图像的边缘图像中坐标位置为(x,y)的像素点为背景边缘像素点，并令IP-Edge(x,y)=0，T表示利用大津阈值方法对低分辨率深度图像的边缘图像进行前景和背景分割的分割阈值。
[0080] 图2a～图2l分别给出了“Art”深度图像、“Books”深度图像、“Moebius”深度图像、“Baby”深度图像、“Bowling”深度图像、“Cloth”深度图像、“Monopoly”深度图像、“Laundry”深度图像、“Reindeer”深度图像、“Cones”深度图像、“Teddy”深度图像和“Tsukuba”深度图像的前景边缘掩膜图像。
[0081] ④根据低分辨率彩色图像中的每个像素点与低分辨率深度图像中对应像素点之间的相关系数，对低分辨率深度图像中与前景边缘掩膜图像中像素值为255的所有像素点对应的所有像素点进行上采样操作；并采用联合双边上采样方法，对低分辨率深度图像中与前景边缘掩膜图像中像素值为0的所有像素点对应的所有像素点进行上采样操作，得到一幅分辨率与高分辨率彩色图像的分辨率一致的初步的高分辨率深度图像。
[0082] 在此具体实施例中，步骤④中假设高分辨率彩色图像中坐标位置为p的像素点与低分辨率彩色图像中坐标位置为p↓的像素点相对应，并假设初步的高分辨率深度图像中坐标位置为p的像素点与低分辨率深度图像中坐标位置为p↓的像素点相对应，则将初步的高分辨率深度图像中坐标位置为p的像素点的像素值记为 ，，其中，p∈Ω，Ω表示初步的高分辨率深度图像中的所有像素点的坐标位置的集合，Ω亦表示高分辨率彩色图像中的所有像素点的坐标位置的集合，p↓∈Ω↓，Ω↓表示低分辨率深度图像中的所有像素点的坐标位置的集合，Ω↓亦表示低分辨率彩色图像中的所有像素点的坐标位置的集合，q∈Z，Z表示在初步的高分辨率深度图像和高分辨率彩色图像中以坐标位置为p的像素点为中心的5×5邻域窗口内的所有像素点的坐标位置的集合，q↓∈Z↓，Z↓表示在低分辨率深度图像和低分辨率彩色图像中以坐标位置为p↓的像素点为中心的5×5邻域窗口内的所有像素点的坐标位置的集合， 表示低分辨率深度
图像中坐标位置为q↓的像素点的像素值， 表示低分辨率深度图像空域的高
斯滤波函数， σd表示低分辨率深度图像空域的高斯
L
滤波函数的标准差，在本实施例中取σd=0.5，ρ(p↓)表示低分辨率彩色图像中坐标位置为p↓的像素点与低分辨率深度图像中坐标位置为p↓的像素点之间的相关系数，
表示高分辨率彩色图像中坐标位置为p的像素点的像素值， 表示高分辨率彩色图像中坐标位置为q的像素点的像素值， 表示高分辨率彩色图像强度值的高
斯滤波函数， σ1表示高分辨率彩色图像
强度值的高斯滤波函数的标准差，在本实施例中取σ1=25.5， 表示低分辨率深度图像中坐标位置为p↓的像素点的像素值， 表示低分辨率深度图像深
度值的高斯滤波函数， σ2表示低分
辨率深度图像深度值的高斯滤波函数的标准差，在本实施例中取σ2=25.5，符号“||||”为欧氏距离计算符号，exp()表示以自然基数e为底的指数函数，IP-Edge(p)表示低分辨率深度图像的前景边缘掩膜图像中坐标位置为p的像素点的像素值。
[0083] ⑤对低分辨率深度图像中的不连续像素点，通过搜索以不连续像素点为中心的5×5邻域窗口内的所有像素点，将与初步的高分辨率深度图像中坐标位置与不连续像素点相对应的像素点的像素值差值最小的像素点的像素值作为最终的高分辨率深度图像中坐标位置与不连续像素点相对应的像素点的像素值；对低分辨率深度图像中的连续像素点，直接将初步的高分辨率深度图像中坐标位置与连续像素点相对应的像素点的像素值作为最终的高分辨率深度图像中坐标位置与连续像素点相对应的像素点的像素值。
[0084] 在此具体实施例中，步骤⑤的具体过程为：
[0085] ⑤-1、假设初步的高分辨率深度图像和需获取的最终的高分辨率深度图像中坐标位置为p的像素点与低分辨率深度图像中坐标位置为p↓的像素点相对应，其中，p∈Ω，Ω表示初步的高分辨率深度图像或需获取的最终的高分辨率深度图像中的所有像素点的坐标位置的集合，p↓∈Ω↓，Ω↓表示低分辨率深度图像中的所有像素点的坐标位置的集合。
[0086] ⑤-2、判断以低分辨率深度图像中坐标位置为p↓的像素点为中心的3×3的滑动窗口内的所有像素点的像素值的方差 是否大于或等于经验阈值T'，
如果是，则确定低分辨率深度图像中坐标位置为p↓的像素点为不连续像素点，然后在低分辨率深度图像中以坐标位置为p↓的像素点为中心的5×5邻域窗口内，搜索
一个像素值与初步的高分辨率深度图像中坐标位置为p的像素点的像素值 的
差值最小的像素点，再将搜索到的像素点的像素值作为最终的高分辨率深度图像中坐标位置为p的像素点的像素值；否则，确定低分辨率深度图像中坐标位置为p↓的像素点为连续像素点，并直接将初步的高分辨率深度图像中坐标位置为p的像素点的像素值作为最终的高分辨率深度图像中坐标位置为p的像素点的像素值。即：如果将最终的高分辨率深度图像中坐标位置为p的像素点的像素值记为 则
有： 其 中，
q↓∈Z↓，Z↓表示在低分辨率深度图像中以坐标位置为p↓的像素点为中心的5×5邻域窗口内的所有像素点的坐标位置的集合， 表示低分辨率深度图像中坐标
位置为q↓的像素点的像素值，q'↓∈Z↓， 表示取使得
最小的q↓值q'↓。在本实施例中经验阈值T'=0.01。
[0087] 图3a～图3l分别给出了“Art”深度图像、“Books”深度图像、“Moebius”深度图像、“Baby”深度图像、“Bowling”深度图像、“Cloth”深度图像、“Monopoly”深度图像、“Laundry”深度图像、“Reindeer”深度图像、“Cones”深度图像、“Teddy”深度图像和“Tsukuba”深度图像上采样后得到的高分辨率深度图像。
[0088] 为了分析本发明方法抑制上采样后得到的高分辨率深度图像边缘模糊的有效性，对Middlebury立体图像数据库进行测试。首先，对原始的高分辨率深度图像进行4x最近值下采样获得低分辨率深度图像；然后，分别采用FEPDIU方法（Kim S Y and Ho Y S.Fast edge-preserving depth image upsampler[J].IEEE Transactions on Consumer Electronics,2012（金盛烈和扈尧盛，快速保护边缘深度图像上采样[期刊]，电气和电子工程师协会消费电子汇报，2012））、JABDU方法（Kim J,et al.Joint-adaptive bilateral depth map upsampling[J].Signal Processing:Image Communication.2014（金朱赫等，联合自适应双边深度上采样[期刊]，信号处理：图像通信，2014））和本发明方法对获得的低分辨率深度图像进行上采样操作。Middlebury立体图像数据库采用坏点率（Bad Pixel Rate,BPR）、均方根误差（Root Mean Square Error,RMSE）和峰值信噪比（Peak Signal to Noise Rate,PSNR）进行评价；其中，BPR通过计算上采样后得到的高分辨率深度图像与原始的高分辨率深度图像之间对应像素点的像素值的绝对值的差值大于1的比例获取。表1给出了针对Middlebury立体数据库中图像采用FEPDIU方法、JABDU方法和本发明方法的BPR对比。从表1中可以看出，本发明方法相比于FEPDIU方法和JABDU方法减少了上采样后得到的高分辨率深度图像的BPR值，本发明方法的平均BPR为2.07%，而FEPDIU方法和JABDU方法的平均BPR分别为5.59%和8.03%。图4a、图4b和图4d分别给出了“Art”深度图像分别采用FEPDIU方法、JABDU方法及本发明方法上采样后得到的高分辨率深度图像的坏点图，图4c给出了“Art”深度图像采用本发明方法（未对低分辨率深度图像中的不连续像素点进行处理）上采样后得到的高分辨率深度图像的坏点图；图5a、图5b和图5d分别给出了“Cloth”深度图像分别采用FEPDIU方法、JABDU方法及本发明方法上采样后得到的高分辨率深度图像的坏点图，图5c给出了“Cloth”深度图像采用本发明方法（未对低分辨率深度图像中的不连续像素点进行处理）上采样后得到的高分辨率深度图像的坏点图；图6a、图6b和图6d分别给出了“Reindeer”深度图像分别采用FEPDIU方法、JABDU方法及本发明方法上采样后得到的高分辨率深度图像的坏点图，图6c给出了“Reindeer”深度图像采用本发明方法（未对低分辨率深度图像中的不连续像素点进行处理）上采样后得到的高分辨率深度图像的坏点图，图4a～图6d中的黑点为坏点，即上采样后得到的高分辨率深度图像与原始的高分辨率深度图像之间对应像素点的像素值的绝对值的差值大于1的像素点。分析图4a～图6d，可以看出，相比于FEPDIU方法和JABDU方法，本发明方法先后两个方面减少了上采样后得到的高分辨率深度图像的BPR，特别是深度图像边缘处的坏点分布情况，如“Cloth”深度图像中左至右上角的长边缘坏点所示。
[0089] 表2为针对Middlebury立体数据库中的图像分别采用FEPDIU方法、JABDU方法和本发明方法上采样后得到的高分辨率深度图像的RMSE和PSNR对比。从表2中可以看出，就RMSE而言，FEPDIU方法、JABDU方法和本发明方法的平均值分别为5.97、5.67和3.46；就PSNR而言，FEPDIU方法、JABDU方法和本发明方法的平均值分别为33.40、33.82和38.58。也就是说，本发明方法相比于FEPDIU方法和JABDU方法减小了上采样后得到的高分辨率深度图像的RMSE，提升了上采样后得到的高分辨率深度图像的PSNR，改善了高分辨率深度图像的质量。
[0090] 表1针对Middlebury立体数据库中图像采用FEPDIU方法、JABDU方法和本发明方法的BPR（%）对比
[0091]
[0092] 表2针对Middlebury立体数据库中的图像分别采用FEPDIU方法、JABDU方法和本发明方法上采样后得到的高分辨率深度图像的RMSE和PSNR（dB）对比
[0093]
[0094]
