[0005] 为了解决上述问题，本发明提供了一种基于多视角协同关系的先天性心脏病辅助诊断方法，所述方法提出了一种基于超声多视图的检测网络模型MUVDN，MUVDN模型融合了局部特征与全局特征和多视图学习有效地提高了病灶检测的准确率和召回率。
[0006] 该诊断方法能够从不同视角上定位病灶区域，并且基于病灶区域利用多视角内在关系综合检测病灶区域的患病情况。
[0007] 为了实现上述目的，本发明采用以下技术方案
[0008] 一种基于多视角协同关系的先天性心脏病辅助诊断方法，包括以下步骤：
[0009] 步骤1：医疗超声数据增强和数据预处理，获得待检测医疗图像。具体子步骤包括：
[0010] 1‑1.获取受试者的心脏多视角彩色多普勒超声图像并由专业超声科医生进行病灶区域的手工标记；
[0011] 1‑2.对待标记的数据进行数据增强操作，包括翻转、平移等技术；
[0012] 步骤2：将所述的不同视角多帧超声图像分别输入至利用卷积神经网络训练的SSD检测器，对心脏病灶区域进行精准定位，并利用非极大值抑制算法获得Top1的精准定位结果；
[0013] 2‑1.在多视角多帧的彩色多普勒超声图像上进行感兴趣区域的定位；
[0014] 2‑2.基于感兴趣区域的坐标信息，通过裁剪操作从原图中提取病灶特征，得到多视角的局部病灶图像；
[0015] 步骤3：将上述多视角的病灶图像帧Ci及彩色超声原图帧Oi进行组合构建数据组{Ci,Oi},其中i代表第i个样本组。并将所有数据组划分为训练集、测试集；
[0016] 步骤4:将上述数据组送入MUVDN网络进行训练并获得训练后的MUVDN二分类网络，其中MUVDN二分类网络由MUVDN中的特征提取模块及全连接层构成。具体网络子步骤包括：
[0017] 4‑1.在上述多视角的病灶图像及彩色超声原图中利用浅层全卷积神经网络，提取浅层局部、浅层全局视图特征描述子；
[0018] 4‑2.在浅层局部描述子上利用全连接层，生成同一视角下不同帧图像之间的权重值S；
[0019] 4‑3.将浅层局部、全局视图特征送入深层全卷积神经网络提取深层局部Fl、全局g g_ref l_ref视图特征F，并所得特征与权重系数S作乘积，得到精细化全局F 局部视图特征F ；
[0020]
[0021] 式中i,j表示第i个视角的第j帧图像；
[0022] 4‑4.对上述全局、局部描述子进行视图‑最大池化操作以获取全局、局部的显著性特征表示；
[0023] 4‑5.将全局、局部显著性特征进行融合操作，并将融合后的特征输入全连接层。最终采用随机梯度下降算法优化损失函数，得到训练后的二分类MUVDN网络。
[0024] 步骤5:测试阶段，将步骤3中获得的测试集输入训练后得到的二分类MUVDN网络，输出病灶区域类别分类；
[0025] 本发明具有以下优点及有益效果：
[0026] 1.所述方法能够提供更好的特征表示，且具有较高的鲁棒性。MUVDN网络考虑了多超声视角之间的内在关系，并且能进一步地还原病灶区域的立体性质。减少了单一视角下伪影及噪声对诊断的影响，保障了先天性心脏病的诊断精度要求。
[0027] 2.所述方法在病灶分类时，协同地将彩色超声原图送入网络进行特征学习；最终的全局‑局部描述子融合有效地提升了网络分类的准确率。
