学习生物视觉通路的轮廓检测方法   0    0

本发明旨在提供一种学习生物视觉通路的轮廓检测方法，包括以下步骤：构建深度神经网络结构，深度神经网络结构具体如下：编码网络、解码网络、前馈融合模块；其中，编码网络为VGG16与FENet相结合的网络结构；原始图像依次经过编码网络、解码网络、前馈融合模块处理，获得最终输出轮廓。本发明能让编码器获得更丰富的轮廓特征信息，提升轮廓检测性能。

1.一种学习生物视觉通路的轮廓检测方法，其特征在于包括以下步骤：
A、构建深度神经网络结构，深度神经网络结构具体如下：
编码网络、解码网络、前馈融合模块；其中，编码网络为VGG16与FENet相结合的网络结构；
VGG16网络以池化层为分界线，分为S1、S2、S3、S4、S5阶段；
FENet包括四个子网络：单拮抗特征子网络、双拮抗特征子网络、V1输出子网络、V2输出子网络；
B、原始图像输入VGG16网络中，依次经S1、S2、S3、S4、S5阶段卷积处理，分别获得输出结果S1、S2、S3、S4、S5，其中输出结果S1送入解码网络；
原始图像经过公式1处理，得到R‑G，G‑R，B‑Y，Y‑B四种输入；
SOi＝Cm‑ωCn            (1)
其中，i表示R‑G，G‑R，B‑Y，Y‑B；m和n都代表R、G、B、Y分量；ω为系数，取值为0.7；
将R‑G，G‑R，B‑Y，Y‑B输入单拮抗特征子网络处理，获得输出结果a，输出结果a与输出结果S2相加融合后，得到融合结果a，输入解码网络；
将R‑G，G‑R，B‑Y，Y‑B输入双拮抗特征子网络处理，获得输出结果b，输出结果b与输出结果S3相加融合后，得到融合结果b，输入解码网络；
原始图像经过SCO算法得到V1区的边缘响应，输入V1输出子网络处理，获得输出结果c，输出结果c与输出结果S4相加融合后，得到融合结果c，输入解码网络；
原始图像经过SED算法得到V2区的边缘响应，输入V2输出子网络处理，获得输出结果d，输出结果d与输出结果S5相加融合后，得到融合结果d，输入解码网络；
C、将输出结果a、输出结果b分别输入前馈融合模块中；
输出结果S1、融合结果a、融合结果b、融合结果c、融合结果d经解码网络处理后，获得解码输出结果，输入前馈融合模块中，并计算其损失；
D、在前馈融合模块中，输出结果a、输出结果b分别经过1x1‑1卷积层后，经上采样恢复到原始分辨率，并计算其损失，最后乘以权重，获得的结果与解码输出结果相加融合后获得最终输出轮廓，并计算其损失；
所述的单拮抗特征子网络包括：R‑G、G‑R、B‑Y、Y‑B四组单拮抗卷积处理阶段，SEM多尺度增强模块，3×3‑128卷积层；
R‑G，G‑R，B‑Y，Y‑B单拮抗卷积处理阶段相同，分别依次经过3×3‑3卷积层、3×3‑64卷积层、最大池化层、3×3‑128卷积层；
单拮抗特征子网络处理过程如下：
将R‑G，G‑R单拮抗卷积处理阶段处理后的特征相加融合，经过多尺度增强模块处理，获得单拮抗增强结果a；将B‑Y，Y‑B单拮抗卷积处理阶段处理后的特征相加融合，经过多尺度增强模块处理，获得单拮抗增强结果b；
将单拮抗增强结果a与单拮抗增强结果b拼接，然后通过3×3‑128卷积层来匹配通道数后得到融合结果a；
所述的双拮抗特征子网络包括：R‑G，G‑R，B‑Y、Y‑B双拮抗卷积处理阶段，SEM多尺度增强模块，1×1‑256卷积层；
R‑G，G‑R，B‑Y、Y‑B双拮抗卷积处理阶段相同，每个阶段的输入分成两路，每个阶段中的两路分别依次经过9×9‑3卷积层、9×9‑64卷积层、2×2最大池化层、9×9‑128卷积层、2×2最大池化层、9×9‑256卷积层，乘以sigmoid函数归一化的可训练权重后，相减，分别获得R‑G，G‑R，B‑Y、Y‑B双拮抗卷积处理结果；
将R‑G，G‑R双拮抗卷积处理结果相加融合后，通过SEM多尺度增强模块处理，获得双拮抗增强结果a；将B‑Y、Y‑B双拮抗卷积处理结果相加融合后，通过SEM多尺度增强模块处理，获得双拮抗增强结果b；
将双拮抗增强结果a与双拮抗增强结果b拼接，然后通过1×1‑256卷积层来匹配通道数后得到融合结果b。

2.如权利要求1所述的学习生物视觉通路的轮廓检测方法，其特征在于：
所述的VGG16网络由原始VGG16网络经过如下结构调整获得：
去掉S4和S5之间的池化层，同时把S5的三个卷积层依次改为空洞率为2、4、8的空洞卷积层。

3.如权利要求1所述的学习生物视觉通路的轮廓检测方法，其特征在于：
所述的V1输出子网络包括依次连接的三组2×2最大池层、SEM多尺度增强模块、3×3‑
512卷积层；
V1区的边缘响应在V1输出子网络中经过三次2×2最大池化，然后经过SEM多尺度增强模块提取多尺度特征，最后经过3×3‑512卷积层匹配通道数，得到融合结果c。

4.如权利要求1所述的学习生物视觉通路的轮廓检测方法，其特征在于：
所述的V2输出子网络包括依次连接的三组2×2最大池层、SEM多尺度增强模块、3×3‑
512卷积层；
V2区的边缘响应在V2输出子网络中经过三次2×2最大池化，然后经过SEM多尺度增强模块提取多尺度特征，最后经过3×3‑512卷积层匹配通道数，得到融合结果d。

5.如权利要求1所述的学习生物视觉通路的轮廓检测方法，其特征在于：
所述的解码网络由多个单元模块R组成的4层结构，第一层包含4个单元模块R，第二层包含3个单元模块，第三层包含2个单元模块R，第四层包含1个单元模块R；
融合结果d和融合结果c分别输入第一层的第一个单元模块R中，经该单元模块R处理获得处理结果R1；
处理结果R1与融合结果b分别输入第一层的第二个单元模块R中，经该单元模块R处理获得处理结果R2；
处理结果R2与融合结果a分别输入第一层的第三个单元模块R中，经该单元模块R处理获得处理结果R3；
处理结果R3与输出结果S1分别输入第一层的第四个单元模块R中，经该单元模块R处理获得处理结果R4；
处理结果R1与处理结果R2分别输入第二层的第一个单元模块R中，经该单元模块R处理获得处理结果R5；
处理结果R5与处理结果R3分别输入第二层的第二个单元模块R中，经该单元模块R处理获得处理结果R6；
处理结果R6与处理结果R4分别输入第二层的第三个单元模块R中，经该单元模块R处理获得处理结果R7；
处理结果R5与处理结果R6分别输入第三层的第一个单元模块R中，经该单元模块R处理获得处理结果R8；
处理结果R8与处理结果R7分别输入第三层的第二个单元模块R中，经该单元模块R处理获得处理结果R9；
处理结果R8与处理结果R9分别输入第四层的单元模块R中，经该单元模块R处理获得处理结果R10，处理结果R10经1×1‑1卷积获得解码输出结果。

6.如权利要求5所述的学习生物视觉通路的轮廓检测方法，其特征在于：
所述的单元模块R包含两个输入通道；
图像在通道1中依次经过3×3卷积，ReLU函数激活，批归一化层处理，乘以sigmoid函数归一化的可训练权重，获得通道1输出结果；
图像在通道2中依次经过3×3卷积，ReLU函数激活，批归一化层，乘以sigmoid函数归一化的可训练权重，经上采样与通道1输出结果尺寸一致，获得通道2输出结果；
其中，通道1和通道2中的3x3卷积层的输出通道数与两个输入中通道数小的保持一致；
将通道1输出结果于通道2输出结果相加融合，获得当前单元模块R的输出结果。

7.如权利要求5所述的学习生物视觉通路的轮廓检测方法，其特征在于：
所述的步骤C和D中，计算损失的公式如下：
总损失如下：
上式中，θi和θfuse分别表示三种子网络输出的损失的权重和最终预测的损失的权重，Pi代表三种不同的输出，Pfuse代表最终的边缘预测，Y表示真实边缘图；
l(Pfuse，Y)的计算公式如下：
+ ‑
对于一张真实边缘图Y＝(yj，j＝1，...，|Y|)，yj∈{0，1}，定义Y＝{yj，yj＞η}和Y ＝+ ‑
{yj，yj＝0}，Y和Y分别代表正样本集和负样本集，其他像素全部忽略；
因此l(Pfuse，Y)计算如下：
式(3)和(4)中，P代表预测，pj代表在像素j处经过一个sigmoid函数处理后的值，α和β用于平衡正负样本，λ是控制系数大小的权重。