基于非对称交叉融合的多光谱图像语义分割方法   0    0

本发明公开了基于非对称交叉融合的多光谱图像语义分割方法。本发明方法首先对多光谱图像进行预处理，输入非对称编码器，获得RGB图像和Thermal图像的特征图及其显著置信度，将输入门控交叉融合模块得到融合特征图；将RGB和Thermal图像输入构建的多光谱显著性感知模块，得到对应显著伪标记；将融合特征图输入由转置卷积组成的解码器；使用随机梯度下降算法优化分割网络模型，对新的多光谱图像依次通过上述步骤获得语义分割结果。本发明方法通过非对称编码器提取多光谱图像特征，可有效减少模型计算开销，还利用门控交叉融合机制自适应地对图像的显著区域融合，有利于对像素点的空间分布关系进行建模，获得更优的语义分割性能。

1.基于非对称交叉融合的多光谱图像语义分割方法，其特征在于，该方法首先获取多光谱图像数据集合，然后进行如下操作：
步骤(1)对多光谱数据集进行预处理，将多光谱图像输入至非对称编码器，获得RGB图像的特征图和显著置信度，以及Thermal图像的特征图和显著置信度；具体是：
(1‑1)对多光谱数据集进行预处理操作，得到训练数据集
其中Ii表示第i个增强多光谱图像训练样本，共N个训练样
本，4表示多光谱通道数量，H表示多光谱图像的高度，W表示多光谱图像的宽度,其中表示多光谱由配对的RGB图像与Thermal图像拼接而成， 表示第i个三
通道的RGB图像样本， 表示第i个单通道的Thermal图像样本，上标r表示RGB，上标t表示Thermal；
(1‑2)进行像素级标记，记为标记集合 其中Yi是高为H、
宽为W的矩阵，像素级标记Yi的元素取值为{0,1,…,K}，其中K为待分割的类别总数，在训练阶段每张多光谱都有对应的像素级标记，处理新多光谱时不会给出像素级标记；
(1‑3)构建非对称编码器中的RGB编码器，即大型图像库ImageNet上预训练并去除全局池化层与全连接层的卷积神经网络ResNet，对训练数据集 的第i个RGB图像样本Iir依次提取RGB四个编码阶段特征图 其中H1＝H/4，W1＝W/4，Hj+1＝Hj/2，
Wj+1＝Wj/2，Hj×Wj表示特征图分辨率，C1＜C2＜C3＜C4表示特征图的通道维度，根据神经网络中间特征图的Hj维度和Wj维度的不同将ResNet分为4个编码阶段，第j个编码阶段为在ResNet中由多个卷积层组成的模块；
(1‑4)构建RGB置信度预测分类器，由全局平均池化操作、全连接层、线性整流函数、全连接层、Sigmoid函数组成，将RGB第四编码阶段特征图 经过RGB置信度预测分类器得到r r
RGB显著置信度Pi，0≤Pi≤1；
(1‑5)构建非对称编码器中的轻量级Thermal编码器，对训练数据集 的第i个Thermal图像样本 依次提取Thermal各个编码阶段特征图 其中Thermal
编码器分为四个阶段，每个阶段均由7×7卷积层、2×2最大池化层和两个结构相同的上下文卷积模块组成；将Thermal图像样本 输入Thermal编码器第一阶段的7×7卷积层、2×2最大池化层，获得浅层视觉特征图 构建上下文卷积模块，具体包含了两条并行的特征提取支路：其中一条支路由1×1卷积层、空洞率为1和分组数为C1的3×3卷积层与1×1卷积层组成；另一条支路由空洞率为2和分组数为C1的3×3卷积层与1×1卷积层组成；每个卷积层之后，经过批归一化操作和线性整流函数，将浅层视觉特征图x输入上下文卷积模块得到第一支路特征图 和第二支路特征图 再经过通道维度上
的拼接得到初级上下文特征图 将初级上下文特征图 输入到第二个
上下文卷积模块，获得高级上下文特征图 再经过一次2×2最大池化层得到第一编码阶段Thermal特征图 将第一编码阶段特征图 输入到
Thermal编码器的后续三个编码阶段获得后续特征图，最终输出四个编码阶段的Thermal特征图
(1‑6)构建Thermal置信度预测分类器，由全局平均池化操作、全连接层、线性整流函数、全连接层、Sigmoid函数组成，将Thermal第四编码阶段特征图 经过Thermal置信度预t t
测分类器得到Thermal显著置信度Pi，0≤Pi≤1；
步骤(2)构建多光谱显著性感知模块，输入为RGB图像和Thermal图像，输出为RGB显著伪标记和Thermal显著伪标记；具体是：
(2‑1)构建多光谱显著性感知模块，将RGB图像 进行静态细粒度显著性计算，得到RGB显著图 将Thermal图像 进行静态细粒度显著性计算，得到Thermal显著图(2‑2)对RGB显著图 通过大津法进行阈值分割得到RGB二值图像 对Thermal显著图 通过大津法进行阈值分割得到Thermal二值图像
(2‑3)计算RGB二值图像 与像素级标记Yi的交并比 计算
Thermal二值图像 与像素级标记Yi的交并比
(2‑4)通过交并比得到两种光谱图像的显著伪标记：RGB显著伪标记
‑7
Thermal显著伪标记 1e 的作用是为了防止除数为零；
步骤(3)构建门控交叉融合模块，输入为RGB图像和Thermal图像的特征图及其显著置信度，输出为融合特征图；
步骤(4)将融合特征图输入由转置卷积组成的解码器，获得预测分割标记；
步骤(5)对由非对称编码器、多光谱显著性感知模块、门控交叉融合模块、解码器构成的分割网络，使用交叉熵损失函数和L1损失函数进行优化，获得已训练的多光谱图像语义分割网络；
步骤(6)将新多光谱图像输入至已训练的分割网络，输出对应的语义分割结果。

2.如权利要求1所述的基于非对称交叉融合的多光谱图像语义分割方法，其特征在于，步骤(3)具体是：
(3‑1)构建门控交叉融合模块，由光谱引导模块和Sigmoid函数组成，所述的光谱引导模块由1×1卷积层、7×7卷积层、1×1卷积层组成；将Thermal第四编码阶段特征图 输入到光谱引导模块得到Thermal第四编码阶段光谱特征图
(3‑2)将RGB第四编码阶段特征图 输入到新构建的光谱引导模块得到RGB第四编码阶段光谱特征图 将Thermal第四编码阶段光谱特征图 经过Sigmoid函数再
与RGB第四编码阶段光谱特征图 进行逐元素乘法操作，得到RGB第四编码阶段多光谱融合特征图
(3‑3)将RGB第四编码阶段光谱特征图 经过Sigmoid函数，再与Thermal第四编码阶段光谱特征图 进行逐元素乘法操作，得到Thermal第四编码阶段多光谱融合特征图将Thermal第四编码阶段特征图 与Thermal第四编码阶段多光谱融合特
t
征图 进行逐元素相加再乘以Thermal显著置信度Pi，得到Thermal第四编码阶段增强特征图 将RGB第四编码阶段特征图 与RGB第四编码阶段多光谱融合特征图
r
进行逐元素相加再乘以RGB显著置信度Pi ，得到RGB第四编码阶段增强特征图将Thermal第四编码阶段增强特征图 和RGB第四编码阶段增强特征图
进行逐元素相加得到第四编码阶段融合特征图
(3‑4)将Thermal第三编码阶段特征图 和RGB第三编码阶段特征图
输入到新构建的门控交叉融合模块，经过与(3‑1)～(3‑3)同类操作，获得第三编码阶段融合特征图 将Thermal第二编码阶段特征图 和RGB第二
编码阶段特征图 输入到新构建的门控交叉融合模块，经过与(3‑1)～(3‑3)同类操作，获得第二编码阶段融合特征图 将Thermal第一编码阶段特征图
和RGB第一编码阶段特征图 输入到新构建的门控交叉融合模块，经
过与(3‑1)～(3‑3)同类操作，获得第一编码阶段融合特征图

3.如权利要求2所述的基于非对称交叉融合的多光谱图像语义分割方法，其特征在于，步骤(4)具体是：
(4‑1)构建由五个转置卷积层组成的解码器，转置卷积即卷积的逆向过程，将第一编码阶段融合特征图fi,1输入到解码器第一个转置卷积层得到第一编码阶段修正特征图(4‑2)将第二编码阶段融合特征图fi,2输入到解码器第二个转置卷积层，得到第二编码阶段修正特征图 将第三编码阶段融合特征图fi,3输入到解码器第三个转置卷积层，得到第三编码阶段修正特征图 将第四编码阶段融合特征图fi,4输入到解码器第四个转置卷积层，得到第四编码阶段修正特征图
(4‑3)将各个编码阶段修正特征图进行通道维度上的拼接，得到集成修正特征图(4‑4)将集成修正特征图ti输入到解码器的第五个转置卷积，得到预测分割标记多光谱图像中每个像素对应的类别为这K个类别中概率最大的类别。

4.如权利要求3所述的基于非对称交叉融合的多光谱图像语义分割方法，其特征在于，步骤(5)具体是：
(5‑1)将预测分割标记 与像素级标记Yi作为输入，利用交叉熵损失函数计算损失值h表示像素点纵轴坐标值，w表示像素点横轴坐标
值，k表示K个语义类别中的第k个类别；
r
(5‑2)将RGB显著伪标记 和RGB显著置信度Pi 作为输入，利用L1损失函数计算损失值：
t
其中||·||1表示L1范数；将Thermal显著伪标记 和Thermal显著置信度Pi作为输入，利用L1损失函数计算损失值：
(5‑3)将损失值 作为输入，得到最终的损失函数为 λ＞0为
置信度损失函数权重；
(5‑4)通过随机梯度下降算法对由非对称编码器、多光谱显著性感知模块、门控交叉融合模块、解码器构成的分割网络模型进行优化，获得训练好的多光谱图像语义分割网络。

5.如权利要求4所述的基于非对称交叉融合的多光谱图像语义分割方法，其特征在于，步骤(6)具体是：
(6‑1)获取新多光谱图像，并将其按照步骤(1)方法获得两种光谱的各个编码阶段特征图、RGB显著置信度和Thermal显著置信度；
(6‑2)将两种光谱的各个编码阶段特征图、RGB显著置信度和Thermal显著置信度按照步骤(3)和(4)进行操作，最终输出相应的分割结果 其中第一个维度表示语义类别。