[0048] 以下结合附图实施例对本发明作进一步详细描述。
[0049] 本发明提出的一种基于高阶奇异值分解的多曝光图像融合方法，其总体实现框图如图1所示，其包括以下步骤：
[0050] 步骤1：选取D幅宽度为M且高度为N的不同的曝光图像；然后将每幅曝光图像从RGB颜色空间转换到YCbCr颜色空间，得到每幅曝光图像的亮度通道(Y)图像、第一色度通道(Cb)图像、第二色度通道(Cr)图像，将第d幅曝光图像的亮度通道图像、第一色度通道图像、第二色度通道图像对应记为Yd、Cbd、Crd；其中，D为正整数，D＞1，如取D＝100，d为正整数，d的初始值为1，1≤d≤D。
[0051] 步骤2：获取所有曝光图像的亮度通道图像融合后的亮度通道图像，具体过程为：
[0052] 步骤2_1：使用宽度为 且高度为 的滑动窗口，以步长为r个像素点，在每幅曝光图像的亮度通道图像中进行滑动，将每幅曝光图像的亮度通道图像划分为L个亮度块，将Yd中的第i个亮度块记为Bd,i；在亮度块划分过程中会出现重叠，不同的像素点会有不同次数的叠加，因此并记录在亮度块划分过程中每幅曝光图像的亮度通道图像中的每个像素点的重叠次数；然后将所有曝光图像的亮度通道图像中相同位置的亮度块构成一个大小为的张量，共得到L个张量，每个张量对应有D个亮度块，将所有曝光图像的亮度通
道图像中的第i个亮度块构成的张量记为Ai；其中， 一般情况下取
在本实施例中取 r为正整数， min()为取最小
值函数，在本实施例中取r＝2，i为正整数，i的初始值为1，1≤i≤L。
[0053] 步骤2_2：对每个张量进行高阶奇异值分解，对于Ai，对Ai进行高阶奇异值分解后得到Ai＝Si×1Ui×2Vi×3Wi；其中，Si表示Ai的核张量，Ui表示Ai的第一模式因子矩阵，Vi表示Ai的第二模式因子矩阵，Wi表示Ai的第三模式因子矩阵，符号“×1”为张量的第一模式乘积符号，符号“×2”为张量的第二模式乘积符号，符号“×3”为张量的第三模式乘积符号。
[0054] 步骤2_3：获取每个张量对应的每个亮度块的特征系数，将Ai对应的第d个亮度块的特征系数记为 其中，Ai对应的第d个亮度块即为Bd,i， 表示Ai对应的第d个亮度块即Bd,i的核张量，即Bd,i可以表示为
(Vi)T为Vi的转置。
[0055] 步骤2_4：计算每个张量对应的每个亮度块的活动等级测度，将Ai对应的第d个亮度块的活动等级测度记为 其中，m为正整数，m的初始值为1， n为正整数，n的初始值为1， 符号“||”为取绝对值符
号， 表示 中下标为(m,n)处的值。
[0056] 步骤2_5：获取每个张量的融合系数矩阵，将Ai的融合系数矩阵记为Ei，其中，k为权重指数，k∈(0,1]，在本实施例中取k
＝0.5。
[0057] 步骤2_6：计算每个张量对应的融合后的亮度块，将Ai对应的融合后的亮度块记为T TFi，Fi＝Ui×Ei×(Vi) ；其中，(Vi) 为Vi的转置。
[0058] 步骤2_7：根据得到的L个融合后的亮度块，获取由L个融合后的亮度块构成的重叠的亮度通道图像，记为Yout，将Yout中坐标位置为(x,y)的像素点的像素值记为Yout(x,y)；然后将Yout中的每个像素点叠加后的像素值除以该像素点的重叠次数得到亮度通道图像，记为 将 中坐标位置为(x,y)的像素点的像素值记为 比如Yout中坐标位置为(x,y)的像素点的重叠次数为3，即属于3个亮度块，像素值分别为50、40、80，那么
的值为(50+40+80)除以3；其中，Yout、 的宽度均为M且高度均为N，1≤x≤M，1≤y≤N。
[0059] 步骤2_8：为了保证 占据亮度通道的整个范围，以得到更高的对比度图像，对进行线性变换优化，得到所有曝光图像的亮度通道图像融合后的亮度通道图像，记为
将 中坐标位置为(x,y)的像素点的像素值记为
其中，Ymin表示 中的最小像素值，Ymax表示 中的最大像素值。
[0060] 步骤3：获取所有曝光图像的第一色度通道图像融合后的第一色度通道图像，具体过程为：
[0061] 步骤3_1：计算每幅曝光图像的第一色度通道图像中的每个像素点的融合系数，将Cbd中坐标位置为(x,y)的像素点的融合系数记为其中，1≤x≤M，1≤y≤N，符号“||”为取绝对值符号，Cbd(x,y)表示Cbd中坐标位置为(x,y)的像素点的像素值；Cbd中的像素点的像素值越接近128，像素点携带的颜色信息越少，因此Cbd中的每个像素点的融合系数由该像素点的像素值与128的差值的绝对值确定。
[0062] 步骤3_2：计算所有曝光图像的第一色度通道图像融合后的第一色度通道图像，记为
[0063] 步骤4：获取所有曝光图像的第二色度通道图像融合后的第二色度通道图像，具体过程为：
[0064] 步骤4_1：计算每幅曝光图像的第二色度通道图像中的每个像素点的融合系数，将Crd中坐标位置为(x,y)的像素点的融合系数记为其中，Crd(x,y)表示Crd中坐标位置为(x,y)的像素点的像素值；Crd中的像素点的像素值越接近128，像素点携带的颜色信息越少，因此Crd中的每个像素点的融合系数由该像素点的像素值与128的差值的绝对值确定。
[0065] 步骤4_2：计算所有曝光图像的第二色度通道图像融合后的第二色度通道图像，记为
[0066] 步骤5：将 组成的YCbCr颜色空间的图像从YCbCr颜色空间转换到RGB颜色空间，得到多曝光图像的融合图像。
[0067] 为了进一步说明本发明方法的可行性和有效性，进行如下实验。
[0068] 采用Balloons、BelgiumHouse、Cadik、Candle、Cave、House、Kluki、Lamp、LightHouse、Madison十个具有高对比度和细节的不同场景的多曝光图像序列。表1显示了每个多曝光图像序列的信息，包括名称、空间分辨率和曝光图像数量。
[0069] 表1多曝光图像序列
[0070] 多曝光图像序列 曝光图像尺寸Balloons 512×339×9
BelgiumHouse 512×384×9
Cadik 512×384×15
Candle 512×364×3
Cave 512×384×3
House 512×340×4
Kluki 512×341×3
Lamp 512×342×6
LightHouse 512×340×3
Madison 512×384×30
[0071] 在此选择七种经典的多曝光图像融合算法与本发明方法作对比，以验证本发明方法的可行性和有效性。七种经典的多曝光图像融合算法分别是全局平均法简称为gsaverage，在B.Gu,W.Li,J.Wong,M.Zhu,and M.Wang“,Gradient field multi-exposure images fusion for high dynamic range image visualization,”
J.Vis.Commun.Imag.Represent.,vol.23,no.4,pp.604–610,May 2012.(用于高动态范围图像可视化的梯度场多曝光图像融合)一文中提出的方法简称为Gu12，在Z.G.Li,
J.H.Zheng,and S.Rahardja,“Detail-enhanced exposure fusion,”IEEE Trans.Image Process.,vol.21,no.11,pp.4672–4676,Nov.2012.(细节增强的曝光融合)一文中提出的方法简称为Li12，在S.Li,X.Kang,and J.Hu,“Image fusion with guided filtering,”IEEE Trans.Image Process.,vol.22,no.7,pp.2864–2875,Jul.2013.(带引导滤波的图像融合)一文中提出的方法简称为Li13，局部平均法简称为lsaverage，在S.Raman and
S.Chaudhuri,“Bilateral filter based compositing for variable exposure
photography,”in Proc.Eurographics,2009,pp.1–4.(基于双边滤波器的可变曝光摄影合成)一文中提出的方法简称为Raman09，在V.Vonikakis,O.Bouzos,I.Andreadis,“Multi-exposure Image Fusion Based on Illumination Estimation,”Specialized
Information Publishers Association,pp.135–142,Heraklion,Crete,Greece,2011.(基于光照估计的多曝光图像融合)一文中提出的方法简称为Vonikakis11。
[0072] 1)主观评价
[0073] 利用本发明方法、gsaverage方法、Gu12方法、Li12方法、Li13方法、lsaverage方法、Raman09方法、Vonikakis11方法分别对多曝光图像序列“LightHouse”进行融合，图2a至图2h对应给出了利用上述八种方法得到的融合图像。从图2a中可以看出利用本发明方法得到的融合图像具有良好的对比度和颜色信息；从图2b和图2g中可以看出gsaverage方法和Raman09方法在天空部分对比度较低，并且石头区域更暗并且不能显示更多细节纹理；从图2c中可以看出Gu12方法得到的整幅融合图像的颜色明显失真，融合图像的颜色偏灰，这与实际的颜色完全不同；从图2d中可以看出Li12方法在天空部分显示出了良好的色彩和对比度，但是石头区域的颜色发生了失真；从图2e中可以看出Li13方法可以获得更好的全局对比度，但是该方法在房屋周围出现了光晕伪影；从图2f中可以看出lsaverage方法得到的融合图像的效果最差，整幅融合图像在细节纹理上严重失真；从图2h中可以看出Vonikakis11方法可以在较亮的区域保留不错的纹理细节，但是石头较暗区域的纹理细节会丢失。
[0074] 利用本发明方法、gsaverage方法、Gu12方法、Li12方法、Li13方法、lsaverage方法、Raman09方法、Vonikakis11方法分别对多曝光图像序列“Madison”进行融合，图3a至图3h对应给出了利用上述八种方法得到的融合图像。从图3a中可以看出利用本发明方法得到的融合图像具有良好的全局对比度，人像柱子保留了丰富的纹理细节；从图3g和图3h中可以看出Raman09方法和Vonikakis11方法得到的融合图像色调总体偏暗，不能有效地显示出灰暗区域的纹理；从图3b中可以看出gsaverage方法在人像上不能很清晰地显示，并且柱子和窗户色调偏暗；从图3c中可以看出Gu12方法尽管可以较好地显示出轮廓纹理，但是颜色具有严重的失真，融合图像的颜色总体偏灰；从图3d中可以看出Li12方法保留了良好的亮度信息，但有些区域太亮而无法显示细致的纹理；从图3f中可以看出lsaverage方法仍然具有严重的纹理失真；从图3e中可以看出Li13方法可以保持良好的亮度，但全局对比度不够高。
[0075] 2)客观评价
[0076] 利用本发明方法、gsaverage方法、Gu12方法、Li12方法、Li13方法、lsaverage方法、Raman09方法、Vonikakis11方法分别对多曝光图像序列“Balloons”、“BelgiumHouse”、“Cadik”、“Candle”、“Cave”、“House”、“Kluki”、“Lamp”、“LightHouse”、“Madison”进行融合。
[0077] 在此使用在C.S.Xydeas and V.Petrovic,“Objective image fusion performance measure,”Electron.Lett.,vol.36,no.4,pp.308–309,Feb.2000.(客观图像融合性能测度)一文中提出的QAB/F作为客观质量评价指标。QAB/F是一个被广泛用于评价融合图像质量的客观评价指标，主要用于分析融合图像的边缘信息，并且QAB/F值越大代表融合图像的质量越好。表2列出了使用QAB/F评价使用不同融合方法得到的融合图像的值，其中每组中最大的两个值以粗体显示。从表2可以看出，本发明方法和Li13方法的性能相近，并明显优于其他方法。
[0078] 表2使用QAB/F评价使用不同融合方法得到的融合图像的值
[0079]
[0080] 对权重指数k、亮度块的大小即滑动窗口的大小、滑动窗口的步长的影响进行分析。
[0081] 1)权重指数k的影响
[0082] 在本发明方法中，在亮度通道融合图像的获取过程中将k设置为0.5。图4显示了亮度块的大小设置为11×11、滑动窗口的步长设置为2时不同取值k对QAB/F的影响，图4中的横坐标表示k的取值，纵坐标表示十组融合图像的QAB/F的平均值。从图4中可以看出，随着k的值不断变大，QAB/F的值先变大后变小，当k取0.5时，QAB/F的值最大。
[0083] 2)亮度块的大小即滑动窗口的大小的影响
[0084] 在本发明方法中，在亮度通道融合图像的获取过程中将滑动窗口的大小设置为11×11。图5显示了权重指数取值为0.5、滑动窗口的步长设置为2时不同亮度块的大小对QAB/F的影响，图5中的横坐标表示亮度块的大小，纵坐标表示十组融合图像的QAB/F的平均值。从图5中可以看出QAB/F的值随着亮度块的大小增大而增大，亮度块的大小从3到8个像素点的范围内，QAB/F的值变化趋势较大，变化曲线相对陡峭；亮度块的大小从8到12个像素点的范围内，QAB/F的值变化趋势不是很大，变化曲线相对平坦。
[0085] 3)滑动窗口的步长的影响
[0086] 在本发明方法中，在亮度通道融合图像的获取过程中将滑动窗口的步长设置为2。图6显示了权重指数取值为0.5、亮度块的大小即滑动窗口的大小设置为11×11时滑动窗口的步长大小对QAB/F的影响，图6的横坐标表示滑动窗口的步长的大小，纵坐标表示十组融合图像的QAB/F的平均值。从图6中可以看出，在滑动窗口的步长为1和2时，QAB/F的值大小基本相AB/F
同，随着滑动窗口的步长的增大，Q 的值总体呈不断减小的趋势。
