[0045] 以下结合附图实施例对本发明作进一步详细描述。
[0046] 本发明提出的一种基于联合字典的彩色与深度图像后处理方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程，所述的训练阶段过程的具体步骤如下：
[0047] ①-1、选取N幅宽度为W且高度为H的原始的无失真彩色图像及对应的深度图像，将由N幅原始的无失真彩色图像构成的彩色图像集合记为{Ii,org|1≤i≤N}，将由N幅原始的无失真彩色图像对应的深度图像构成的深度图像集合记为{Di,org|1≤i≤N}，其中，N≥1，Ii,org表示{Ii,org|1≤i≤N}中的第i幅彩色图像，Di,org表示{Di,org|1≤i≤N}中的第i幅深度图像，Ii,org与Di,org对应。
[0048] 在具体实施时，原始的无失真彩色图像及对应的深度图像选取的幅数应当适当，如果N的值越大，则通过训练得到的字典表的精度也就越高，但计算复杂度也就越高，因此在本实施例中取N＝10。
[0049] ①-2、将{Ii,org|1≤i≤N}中的每幅彩色图像划分成 个互不重叠的尺寸大小为8×8的子块；然后采用K-SVD方法对{Ii,org|1≤i≤N}中的所有彩色图像中的子块构成的集合进行字典训练操作，构造得到{Ii,org|1≤i≤N}的彩色字典表，记为Dc，其中，Dc的维数为64×K，K表示设定的字典的个数，K≥1，K的取值过大会出现过聚类现象，K的取值过小会出现欠聚类现象，在本实施例中取K＝128。
[0050] 在此具体实施例中，步骤①-2中的Dc的获取过程为：
[0051] ①-2a、将{Ii,org|1≤i≤N}中的N幅彩色图像中的所有子块构成一个集合，记为其中，此处M表示{Ii,org|1≤i≤N}中的所有彩色图像中的子块的总个数，的维数为64×1， 表示{Ii,org|1≤i≤N}中的所有彩色图像中的第t个子
块中的所有像素点组成的列向量， 亦表示 中的第t个列向量。
[0052] ①-2b、采用现有的K-SVD方法对 进行字典训练操作，构造得到{Ii,org|1≤i≤N}的彩色字典表Dc，Dc通过K-SVD方法求解 得到，其中，min()为
取最小值函数，符号“|| ||2”为求取矩阵的2-范数符号，Yc的维数为64×M，
为 中的第1个列向量， 亦表示{Ii,org|1≤i≤N}中的
所有彩色图像中的第1个子块中的所有像素点组成的列向量， 为 中的第t个
列向量， 亦表示{Ii,org|1≤i≤N}中的所有彩色图像中的第t个子块中的所有像素点组成的列向量， 为 中的第M个列向量， 亦表示{Ii,org|1≤i≤N}中的所有彩色
图像中的第M个子块中的所有像素点组成的列向量，Xc的维数为K×M，
表示Xc中的第1个列向量， 亦表示 的稀疏系数矩阵， 表示Xc中的第t个列向量， 亦
表示 的稀疏系数矩阵， 表示Xc中的第M个列向量， 亦表示 的稀疏系数矩阵，符号
“[]”为矢量表示符号，符号“|| ||0”为求取矩阵的0-范数符号，T为误差系数，在本实施例中取T＝0.1。
[0053] 同样，将{Di,org|1≤i≤N}中的每幅深度图像划分成 个互不重叠的尺寸大小为8×8的子块；然后采用K-SVD方法对{Di,org|1≤i≤N}中的所有深度图像中的子块构成的集合进行字典训练操作，构造得到{Di,org|1≤i≤N}的深度字典表，记为Dd，其中，Dd的维数为64×K。
[0054] 在此具体实施例中，步骤①-2中的Dd的获取过程为：
[0055] ①-2c、将{Di,org|1≤i≤N}中的N幅深度图像中的所有子块构成一个集合，记为其中，此处M表示{Di,org|1≤i≤N}中的所有深度图像中的子块的总个数，的维数为64×1， 表示{Di,org|1≤i≤N}中的所有深度图像中的第t个
子块中的所有像素点组成的列向量， 亦表示 中的第t个列向量。
[0056] ①-2d、采用现有的K-SVD方法对 进行字典训练操作，构造得到{Di,org|1≤i≤N}的深度字典表Dd，Dd通过K-SVD方法求解 得到，其中，Yd的维数
为64×M， 为 中的第1个列向量， 亦表示{Di,org|1≤i
≤N}中的所有深度图像中的第1个子块中的所有像素点组成的列向量， 为
中的第t个列向量， 亦表示{Di,org|1≤i≤N}中的所有深度图像中的第t个子块中的所有像素点组成的列向量， 为 中的第M个列向量， 亦表示{Di,org|1≤i≤N}中的
所有深度图像中的第M个子块中的所有像素点组成的列向量，Xd的维数为K×M，
表示Xd中的第1个列向量， 亦表示 的稀疏系数矩阵， 表示Xd中
的第t个列向量， 亦表示 的稀疏系数矩阵， 表示Xd中的第M个列向量， 亦表示 的
稀疏系数矩阵，符号“[]”为矢量表示符号，T为误差系数，在本实施例中取T＝0.1。
[0057] 所述的测试阶段过程的具体步骤如下：
[0058] ②-1、对于任意一幅宽度为W'且高度为H'的经JPEG编码失真的彩色图像Itest及对应的经JPEG编码失真的深度图像Dtest；在此，W'与W可以相同也可以不同，H'与H可以相同也可以不同。
[0059] ②-2、将Itest划分成 个互不重叠的尺寸大小为8×8的子块；同样，将Dtest划分成 个互不重叠的尺寸大小为8×8的子块；然后由于在训练阶段独立构造的彩色字典表和深度字典表忽略了彩色特征空间与深度特征空间之间的几何关系，因此本发明方法根据Itest中的所有子块构成的集合和Dtest中的所有子块构成的集合、在训练阶段构造得到的Dc和Dd，获取Itest和Dtest的联合字典表，记为{Dc,test,Dd,test}，其中，Dc,test为{Dc,test,Dd,test}中的彩色字典表，Dd,test为{Dc,test,Dd,test}中的深度字典表，Dc,test和Dd,test的维数均为64×K，K表示设定的字典的个数，K≥1，K的取值过大会出现过聚类现象，K的取值过小会出现欠聚类现象，在本实施例中取K＝128。
[0060] 在此具体实施例中，步骤②-2中的{Dc,test,Dd,test}的获取过程为：
[0061] ②-2a、将Itest中的所有子块构成一个集合，记为 并将Dtest中的所有子块构成一个集合，记为 其中，M'表示Itest中的子块的总个数，M'亦
表示Dtest中的子块的总个数， 的维数为64×1， 表示Itest中的第t'个
子块中的所有像素点组成的列向量， 亦表示 中的第t'个列向量，
的维数为64×1， 表示Dtest中的第t'个子块中的所有像素点组成的列向量， 亦
表示 中的第t'个列向量。
[0062] ②-2b、根据在训练阶段构造得到的Dc，获取 中的每个列向量的稀疏系数矩阵，将 的稀疏系数矩阵记为 通过求解
得到，其中， 的维数为K×1，min()为取最小值函数，符号“|| ||0”为求取矩阵的0-范数符号，符号“|| ||2”为求取矩阵的2-范数符号，T为误差系数，在本实施例中取T＝0.1。
[0063] 同样，根据在训练阶段构造得到的Dd，获取 中的每个列向量的稀疏系数矩阵，将 的稀疏系数矩阵记为 通过求解
得到，其中， 的维数为K×1，T为误差系数，在本实施例中取T＝0.1。
[0064] ②-2c、根据 和 中的所有列向量各自的稀疏系数矩阵，计算彩色联合矩阵和深度联合矩阵，对应记为Mc,test和Md,test，
其
中，Xc,test的维数为K×M'， 表示 中的
第1个列向量的稀疏系数矩阵， 表示 中的第t'个列向量的稀疏系数矩
阵， 表示 中的第M'个列向量的稀疏系数矩阵，Xd,test的维数为K×M'，
表示 中的第1个列向量的稀疏系数矩
阵， 表示 中的第t'个列向量的稀疏系数矩阵， 表示
中的第M'个列向量的稀疏系数矩阵，(Xc,test)T为Xc,test的转置矩阵，
(Xd,test)T为Xd,test的转置矩阵， 为Xc,test(Xc,test)T的逆矩阵，
为Xd,test(Xd,test)T的逆矩阵， 为
的 转 置 矩 阵 ， 为
的转置矩阵。
[0065] ②-2d、对训练阶段构造得到的Dc和Dd、Mc,test和Md,test进行联合，得到Itest和Dtest的联合字典表{Dc,test,Dd,test}，Dc,test＝DcMc,test，Dd,test＝DdMd,test。
[0066] ②-3、根据Dc,test，获取 中的每个列向量的稀疏系数矩阵，将的稀疏系数矩阵记为 通过求解 得到，其中，
的维数为K×1，min()为取最小值函数，符号“|| ||0”为求取矩阵的0-范数符号，符号“|| ||2”为求取矩阵的2-范数符号，Tp1为误差系数，在本实施例中Tp1的取值与对彩色图像Itest进行JPEG编码的压缩因子q1有关， C＝1.15，c1＝
36.143，c2＝-19.789，c3＝3.881，c4＝-0.250。
[0067] 同样，根据Dd,test，获取 中的每个列向量的稀疏系数矩阵，将的稀疏系数矩阵记为 通过求解 得到，其中，
的维数为K×1，Tp2为误差系数，在本实施例中Tp2的取值与对深度图像Dtest进行JPEG编码的压缩因子q2有关， C＝1.15，c1＝36.143，c2＝-19.789，
c3＝3.881，c4＝-0.250。
[0068] ②-4、计算 中的每个列向量的重建向量，将 的重建向量记为 然后将 中的每个列向量的重建向量中的每个
元素的值作为Itest中对应的子块中对应的像素点经后处理后的像素值，对于 中的第j个元素的值，将其作为Itest中的第t'个子块中的第j个像素点经后处理后的像素值，从而得到Itest的后处理图像，记为I'test，其中，1≤j≤64。
[0069] 同样，计算 中的每个列向量的重建向量，将 的重建向量记为 然后将 中的每个列向量的重建向量中的每个
元素的值作为Dtest中对应的子块中对应的像素点经后处理后的像素值，对于 中的第j个元素的值，将其作为Dtest中的第t'个子块中的第j个像素点经后处理后的像素值，从而得到Dtest的后处理图像，记为D'test。
[0070] 以下就本发明方法对“Undo Dancer”和“Balloons”三维视频序列中的彩色图像及对应的深度图像进行后处理和虚拟视点图像绘制的主客观性能进行比较。
[0071] 对“Undo Dancer”和“Balloons”三维视频序列中的彩色图像及对应的深度图像进行滤波后处理实验，图2a给出了“Undo Dancer”三维视频序列中的一帧经JPEG编码失真的彩色图像，图2b给出了“Undo Dancer”三维视频序列中的一帧经JPEG编码失真的深度图像，图2c给出了采用图2a所示的彩色图像和图2b所示的深度图像绘制得到的虚拟视点图像；图3a给出了图2a所示的彩色图像经本发明方法处理后得到的彩色图像即彩色滤波图像，图3b给出了图2b所示的深度图像经本发明方法处理后得到的深度图像即深度滤波图像，图3c给出了采用图3a所示的彩色图像和图3b所示的深度图像绘制得到的虚拟视点图像；图4a给出了“Balloons”三维视频序列中的一帧经JPEG编码失真的彩色图像，图4b给出了“Balloons”三维视频序列中的一帧经JPEG编码失真的深度图像，图4c给出了采用图4a所示的彩色图像和图4b所示的深度图像绘制得到的虚拟视点图像；图5a给出了图4a所示的彩色图像经本发明方法处理后得到的彩色图像即彩色滤波图像，图5b给出了图4b所示的深度图像经本发明方法处理后得到的深度图像即深度滤波图像，图5c给出了采用图5a所示的彩色图像和图5b所示的深度图像绘制得到的虚拟视点图像。从图2a至图5c中可以看出，采用本发明方法后处理滤波后的彩色图像和深度图像均保持了重要的几何特征，并且采用本发明方法后处理滤波后的彩色图像和深度图像绘制得到的虚拟视点图像能够保持更好的对象轮廓信息，提高了虚拟视点图像的质量。
