[0032] 以下结合附图实施例对本发明作进一步详细描述。
[0033] 本发明提出的一种基于全局特征的色调映射图像质量客观评价方法,其总体实现框图如图1所示,其包括训练阶段和测试阶段两个过程。
[0034] 所述的训练阶段过程的具体步骤为:
[0035] ①_1、选取N幅色调映射图像构成训练图像集,记为 其中,N>1,在本实施例中选取TMID数据库中的120幅色调映射图像、选取ESPL-LIVE数据库中的1811幅色
调映射图像,1≤k≤N, 表示 中的第k幅色调映射图像,
中的每幅色调映射图像的宽度为W,且高度为H。
[0036] ①_2、计算 中的每幅色调映射图像的自然场景统计(SceneNaturalness)特征矢量,将 的自然场景统计特征矢量记为 其中, 的维数
为5×1。
[0037] 在本实施例中,步骤①_2中的 的获取过程为:
[0038] ①_2a、计算 中的每幅色调映射图像中的所有像素点的像素值的均值,将 中的所有像素点的像素值的均值记为ρ, 然后计算
中的每幅色调映射图像中的所有像素点的像素值的标准差,将 中的所
有像素点的像素值的标准差记为δ, 接着计算
中的每幅色调映射图像中的所有像素点的像素值的偏度,将 中的所有像素点的像素值
的偏度记为θ, 并计算 中的每幅色调映射图像中
的所有像素点的像素值的峰度,将 中的所有像素点的像素值的峰度记为κ,
再计算 中的每幅色调映射图像中的所有像素
点的像素值的熵,将 中的所有像素点的像素值的熵记为η, 其中,1≤
x≤W,1≤y≤H, 表示 中坐标位置为(x,y)的像素点的像素值,0≤g≤255,pg表
示 中的所有像素点的像素值中属于第g个密度值的概率密度函数值,
[0039] ①_2b、通过对 中的所有色调映射图像各自中的所有像素点的像素值的均值进行高斯分布拟合,拟合得到 中的所有色调映射图像的均值高
斯分布拟合曲线,然后根据拟合得到的均值高斯分布拟合曲线获得ρ的拟合值,记为fρ,
同样,通过对 中的所有色调映射图像各自
中的所有像素点的像素值的标准差进行高斯分布拟合,拟合得到 中的所有
色调映射图像的标准差高斯分布拟合曲线,然后根据拟合得到的标准差高斯分布拟合曲线
获得δ的拟合值,记为fδ, 通过对 中的所有色
调映射图像各自中的所有像素点的像素值的偏度进行高斯分布拟合,拟合得到
中的所有色调映射图像的偏度高斯分布拟合曲线,然后根据拟合得到的偏
度高斯分布拟合曲线获得θ的拟合值,记为fθ, 通过对
中的所有色调映射图像各自中的所有像素点的像素值的峰度进行高斯分布拟
合,拟合得到 中的所有色调映射图像的峰度高斯分布拟合曲线,然后根据拟
合得到的峰度高斯分布拟合曲线获得κ的拟合值,记为fκ, 通
过对 中的所有色调映射图像各自中的所有像素点的像素值的熵进行高斯分
布拟合,拟合得到 中的所有色调映射图像的熵高斯分布拟合曲线,然后根据
拟合得到的熵高斯分布拟合曲线获得η的拟合值,记为fη,
其中,μρ和σρ表示均值高斯分布拟合曲线的参数值,在本实施例中取μρ=121.70、σρ=
36.11,exp()表示以自然基数e为底的指数函数,μδ和σδ表示标准差高斯分布拟合曲线的参
数值,在本实施例中取μδ=56.47、σδ=18.43,μθ和σθ表示偏度高斯分布拟合曲线的参数值,
在本实施例中取μθ=0.15、σθ=0.89,μκ和λκ表示峰度高斯分布拟合曲线的参数值,在本实
施例中取μκ=2.82、λκ=18.86,μη和ση表示熵高斯分布拟合曲线的参数值,在本实施例中取
μη=7.56、ση=0.27。
[0040] ①_2c、将fρ、fδ、fθ、fκ和fη按序排列,得到 其中,符号“[]”为矢量表示符号。
[0041] ①_3、计算 中的每幅色调映射图像的颜色统计(Chromatic Information)特征矢量,将 的颜色统计特征矢量记为 其中, 的维数为18×1。
[0042] 在本实施例中,步骤①_3中的 的获取过程为:
[0043] ①_3a、将 在RGB颜色空间的三个分量分别记为{Rk(x,y)}、{Gk(x,y)}和{Bk(x,y)},其中,1≤x≤W,1≤y≤H,Rk(x,y)表示{Rk(x,y)}中坐标位置为(x,y)的像素点的像素
值,Gk(x,y)表示{Gk(x,y)}中坐标位置为(x,y)的像素点的像素值,Bk(x,y)表示{Bk(x,y)}
中坐标位置为(x,y)的像素点的像素值。
[0044] ①_3b、对{Rk(x,y)}进行归一化操作,将{Rk(x,y)}经归一化操作后得到的图像记为 将 中坐标位置为(x,y)的像素点的像素值记为
并对{Gk(x,y)}进行归一化操作,将{Gk(x,y)}经归一化操作后得到
的图像记为 将 中坐标位置为(x,y)的像素点的像素值记为
对{Bk(x,y)}进行归一化操作,将{Bk(x,y)}经归一化操作后得到的
图像记为 将 中坐标位置为(x,y)的像素点的像素值记为
其中, 表示{Rk(x,y)}中的所有像素点的像素值的均值,
表示{Rk(x ,y)}中的所有像素点的像素值的标准差,
表示{Gk(x,y)}中的所有像素点的像素值的均值,
表示{Gk(x,y)}中的所有像素点的像素值的标准差,
表示{Bk(x,y)}中的所有像素点的像素值的均值,
表示{Bk(x,y)}中的所有像素点的像素值的标准差,
[0045] ①_3c、采用现有的广义高斯分布(GGD)模型对 的颜色分布进行拟合,拟合得到 的拟合曲线,记为gR(h), 并采用现
有的广义高斯分布(GGD)模型对 的颜色分布进行拟合,拟合得到 的拟合
曲线,记为gG(h), 采用现有的广义高斯分布(GGD)模
型对 的颜色分布进行拟合,拟合得到 的拟合曲线,记为gB(h),
其中,0≤h≤255,αR表示拟合曲线gR(h)的尺度参
数,βR表示拟合曲线gR(h)的形状参数,exp()表示以自然基数e为底的指数函数,符号“||”
为取绝对值符号, t为积分变量,αG表示拟合曲线gG(h)的尺度参数,
βG表示拟合曲线gG(h)的形状参数, αB表示拟合曲线gB(h)的尺度参
数,βB表示拟合曲线gB(h)的形状参数,
[0046] ①_3d、将 在CIELAB颜色空间的三个分量分别记为{Lk(x,y)}、{ak(x,y)}和{bk(x,y)},其中,Lk(x,y)表示{Lk(x,y)}中坐标位置为(x,y)的像素点的像素值,ak(x,y)表示
{ak(x,y)}中坐标位置为(x,y)的像素点的像素值,bk(x,y)表示{bk(x,y)}中坐标位置为(x,
y)的像素点的像素值。
[0047] ①_3e、对{Lk(x,y)}进行归一化操作,将{Lk(x,y)}经归一化操作后得到的图像记为 将 中坐标位置为(x,y)的像素点的像素值记为
并对{ak(x,y)}进行归一化操作,将{ak(x,y)}经归一化操作后得到
的图像记为 将 中坐标位置为(x,y)的像素点的像素值记为
对{bk(x,y)}进行归一化操作,将{bk(x,y)}经归一化操作后得到的
图像记为 将 中坐标位置为(x,y)的像素点的像素值记为
其中, 表示{Lk(x,y)}中的所有像素点的像素值的均值,
表示{Lk(x ,y)}中的所有像素点的像素值的标准差,
表示{ak(x,y)}中的所有像素点的像素值的均值,
表示{ak(x ,y)}中的所有像素点的像素值的标准差,
表示{bk(x,y)}中的所有像素点的像素值的均值,
表示{bk(x ,y)}中的所有像素点的像素值的标准差,
[0048] ①_3f、采用现有的广义高斯分布(GGD)模型对 的颜色分布进行拟合,拟合得到 的拟合曲线,记为gL(h), 并采用现
有的广义高斯分布(GGD)模型对 的颜色分布进行拟合,拟合得到 的拟合
曲线,记为ga(h), 采用现有的广义高斯分布(GGD)模
型对 的颜色分布进行拟合,拟合得到 的拟合曲线,记为gb(h),
其中,αL表示拟合曲线gL(h)的尺度参数,βL表示拟合
曲线gL(h)的形状参数, αa表示拟合曲线ga(h)的尺度参数,βa表示拟
合曲线ga(h)的形状参数, αb表示拟合曲线gb(h)的尺度参数,βb表示
拟合曲线gb(h)的形状参数,
[0049] ①_3g、将 在YCbCr颜色空间的三个分量分别记为{Yk(x,y)}、{Uk(x,y)}和{Vk(x,y)},其中,Yk(x,y)表示{Yk(x,y)}中坐标位置为(x,y)的像素点的像素值,Uk(x,y)表示
{Uk(x,y)}中坐标位置为(x,y)的像素点的像素值,Vk(x,y)表示{Vk(x,y)}中坐标位置为(x,
y)的像素点的像素值。
[0050] ①_3h、对{Yk(x,y)}进行归一化操作,将{Yk(x,y)}经归一化操作后得到的图像记为 将 中坐标位置为(x,y)的像素点的像素值记为
并对{Uk(x,y)}进行归一化操作,将{Uk(x,y)}经归一化操作后得到
的图像记为 将 中坐标位置为(x,y)的像素点的像素值记为
对{Vk(x,y)}进行归一化操作,将{Vk(x,y)}经归一化操作后得到的
图像记为 将 中坐标位置为(x,y)的像素点的像素值记为
其中, 表示{Yk(x,y)}中的所有像素点的像素值的均值,
表示{Yk(x ,y)}中的所有像素点的像素值的标准差,
表示{Uk(x,y)}中的所有像素点的像素值的均值,
表示{Uk(x ,y)}中的所有像素点的像素值的标准差,
表示{Vk(x,y)}中的所有像素点的像素值的均值,
表示{Vk(x ,y)}中的所有像素点的像素值的标准差,
[0051] ①_3i、采用现有的广义高斯分布(GGD)模型对 的颜色分布进行拟合,拟合得到 的拟合曲线,记为gY(h), 并采用现有
的广义高斯分布(GGD)模型对 的颜色分布进行拟合,拟合得到 的拟合曲
线,记为gU(h), 采用现有的广义高斯分布(GGD)模型
对 的颜色分布进行拟合,拟合得到 的拟合曲线,记为gV(h),
其中,αY表示拟合曲线gY(h)的尺度参数,βY表示拟合
曲线gY(h)的形状参数, αU表示拟合曲线gU(h)的尺度参数,βU表示
拟合曲线gU(h)的形状参数, αV表示拟合曲线gV(h)的尺度参数,βV表
示拟合曲线gV(h)的形状参数,
[0052] ①_3j、将αR、βR、αG、βG、αB、βB、αL、βL、αa、βa、αb、βb、αY、βY、αU、βU、αV和βV按序排列,得到其中,符号“[]”为矢量表示符号。
[0053] ①_4、将 中的每幅色调映射图像的自然场景统计特征矢量和颜色统计特征矢量构成 中的每幅色调映射图像的全局特征矢量,将 的全局
特征矢量记为Fk, 其中,Fk的维数为23×1,符号“[]”为矢量表示符号,
表示将 和 连接起来形成一个全局特征矢量。
[0054] ①_5、将 中的所有色调映射图像各自的全局特征矢量和平均主观评分差值构成训练样本数据集合,训练样本数据集合中包含N个全局特征矢量和N个平均主
观评分差值;然后采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有
全局特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差
最小,拟合得到最优的权重矢量wopt和最优的偏置项bopt;接着利用最优的权重矢量wopt和最
优的偏置项bopt,构造质量预测模型,记为f(F), 其中,f()为函数表
示形式,F用于表示色调映射图像的全局特征矢量,且作为质量预测模型的输入矢量,(wopt
)T为wopt的转置, 为F的线性函数。
[0055] 所述的测试阶段过程的具体步骤为:
[0056] ②对于任意一幅用作测试的色调映射图像Itest,按照步骤①_2至步骤①_4相同的操作,获取Itest的全局特征矢量,记为Ftest;然后根据训练阶段构造的质量预测模型对Ftest
进行测试,预测得到Ftest对应的预测值,将该预测值作为Itest的质量客观评价预测值,记为
Qtest, 其中,Itest的宽度为W',且高度为H',W'可与W相同或不相同,
H'可与H相同或不相同,Ftest的维数为23×1, 表示Ftest的线性函数。
[0057] 在本实施例中,采用加拿大滑铁卢大学建立的TMID数据库和美国德克萨斯大学奥斯汀分校建立的ESPL-LIVE数据库作为色调映射图像数据库,TMID数据库包括120幅色调映
射图像,ESPL-LIVE数据库包括1811幅色调映射图像。利用评估图像质量评价方法的2个常
用客观参量作为评价指标,即非线性回归条件下的Pearson线性相关系数(Pearson linear
correlation coefficient,PLCC)和Spearman秩等级相关系数(Spearman rank order
correlation coefficient,SROCC)。PLCC和SROCC越高说明本发明方法的评价结果与平均
主观评分差值的相关性越好。表1给出了本发明方法得到的质量客观评价预测值与平均主
观评分差值之间的相关性,从表1中可以看出,采用本发明方法得到的色调映射图像的质量
客观评价预测值与平均主观评分差值之间的相关性是很高的,表明客观评价结果与人眼主
观感知的结果较为一致,足以说明本发明方法的有效性。
[0058] 表1采用本发明方法得到的质量客观评价预测值与平均主观评分差值之间的相关性
[0059]数据库 PLCC SROCC
TMID 0.744 0.698
ESPL-LIVE 0.639 0.629