[0033] 为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于医疗大数据的牙齿三维模型构建系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
[0034] 除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
[0035] 下面结合附图具体的说明本发明所提供的一种基于医疗大数据的牙齿三维模型构建系统的具体方案。
[0036] 请参阅图1，其示出了本发明一个实施例提供的一种基于医疗大数据的牙齿三维模型构建系统框图，该系统包括图像采集模块101、图像分割模块102、第一三维模型创建模块103、镜面法向量获取模块104和第二三维模型创建模块105。
[0037] 图像采集模块101用于采集包含牙齿和牙医镜的初始图像。在本发明实施例中相机设置在牙医所佩戴的眼睛中间，或者是头戴式设备，使得可以与牙医视角保持一致，当牙医检查患者牙齿时，能够以同样的视角采集到患者牙齿和牙医镜内牙齿的图像。
[0038] 图像分割模块101用于在初始图像上分割出牙齿图像。对牙齿图像进一步分割，获得各个牙齿类型的镜内牙齿信息和镜外牙齿信息。
[0039] 优选的，图像分割模块102还包括镜内外区分模块。境内外区分模块用于通过预先训练好的镜内外分割网络处理初始图像，获得牙医镜图像和牙齿图像。将牙医镜图像进行分析，获得镜面连通域的边缘点集，将其作为遮罩处理牙医镜图像，区分出镜内牙齿信息和镜外牙齿信息。
[0040] 镜内外分割网络采用编码‑解码结构，具有两个网络分支，分别为牙齿分割分支和牙医镜分割分支，该网络的具体训练过程为：
[0041] 1)以医疗大数据中包含牙医镜和牙齿的图像作为训练数据。对于牙齿分割分支来说，本发明将图像标签分为3类，分别为背景、牙侧面和牙冠面。标签图像中每个像素的数值表示当前位置像素对应的类别。对于牙医镜分割分支的标签也为3类，分别为镜面、镜柄和背景。
[0042] 2)将训练数据和标签数据经过归一化处理后送入网络中。镜内外分割编码器对图像进行特征提取，使用卷积和池化操作在对图像进行下采样过程中，提取图像的空域特征，输出特征向量。镜内外分割解码器将特征向量进行反卷积和反池化操作，经过单通道输出，获得牙医镜图像和牙齿图像。
[0043] 3)采用交叉熵函数作为损失函数对网络进行训练。
[0044] 为了获得患者不同牙齿类型的牙齿信息，本发明实施例将牙齿图像进行进一步分割，对牙齿进行分类，获得完整的牙齿信息。
[0045] 在本发明实施例中，利用牙齿实例分割网络对牙齿图像进行分割，获得各个类型的牙齿信息。牙齿实例分割网络具体包括：
[0046] 1)采用医疗大数据系统中包含牙齿的图像作为训练数据。对不同牙齿给定不同的标签，最终通过标签数目获得N个通道，通道数也代表着图片包含的实例数目，每一个通道包含一个牙齿的标签信息。
[0047] 2)牙齿实例分割网络采用编码‑解码结构。将训练数据和标签数据归一化后输入网络，实例分割编码器对输入数据进行特征提取，输出特征图。将特征图进一步处理后得到每一个牙齿的包围框。将每一个包围框的裁剪图片经过实例分割编码器和实例分割解码器的处理后得到每一个牙齿的实例，最后输出多个通道数的实例分割图，每个通道代表一个牙齿的实例。
[0048] 3)采用交叉熵函数作为损失函数训练网络。
[0049] 在本发明实施例中，牙齿实例分割网络选用Mask‑RCNN网络结构，实例分割编码器建议套用Mobilenet等轻量化模型，更利于网络的训练。
[0050] 通过牙齿实例分割网络对牙齿图像的进一步分割，可得到各个牙齿类型的牙齿信息，对于不同类型的牙齿，在本发明实施例中，门牙犬牙侧面由镜外牙齿信息获得，槽牙内侧由镜内牙齿信息获得，槽牙牙冠由镜外牙齿信息获得。
[0051] 第一三维模型创建模块103用于通过镜外牙齿信息对模型进行初步对齐，获得第一三维模型。
[0052] 优选的，第一三维模型创建模块103还包括模型对齐模块。模型对齐模块用于通过连通域分析处理门牙类型的镜外牙齿信息，获得门牙中心点。将门牙中心点作为第一三维模型对齐的根节点，调整牙冠面和牙侧面进行初步对齐，然后将其他类型牙齿利用同样操作进行对齐，获得第一三维模型。
[0053] 镜面法向量获取模块104用于以初始图像中的牙医镜的中心点到镜柄构成的向量作为第一向量。通过预先训练好的夹角提取网络提取出第一向量与镜面法向量之间的方向夹角。根据所述方向夹角获得镜面法向量。镜面法向量可以表示当前牙医镜的朝向。
[0054] 请参阅图2，其示出了本发明一个实施例提供的一个牙医镜示意图。
[0055] 优选的，镜面法向量获取模块104还包括网络输入提取模块。网络输入提取模块用于以镜柄和镜面中心点o为参考点获得第一向量 和与第一向量 垂直的第二向量 第一向量 和第二方向 组成第一正交向量组。提取镜面的长轴向量 和短轴向量 组成第二正交向量组。以第一正交向量组和第二正交向量组最小的夹角作为输入夹角。以第一正交向量组和第二正交向量组中模长较长的向量模长比值作为第一模长比，同理获得模长较小的向量模长比值作为第二模长比。即在图2中以第一向量 的模长和长轴向量 的模长的比值为第一模长比。第二向量 的模长和短轴向量 的模长的比值为第二模长比。第一方向 与第三方向 的夹角θ为输入夹角。将第一模长比、第二模长比和输入夹角作为夹角提取网络的输入。
[0056] 夹角提取网络输出为第一方向 与法向量 的方向夹角。在现实生活中法向量 总是垂直与镜面，因此方向夹角等于90°，但是在图像上，因为图像的视角变换，方向夹角在一些姿态中不为90°，因此可以利用方向夹角和确定的镜面法向量来表示牙医镜的朝向。
[0057] 第二三维模型创建模块105用于通过牙齿信息构建牙齿向量。牙齿向量包含镜内牙齿向量和镜外牙齿向量。根据第一向量和镜面法向量确定镜外牙齿向量的搜索范围。在搜索范围内搜索与镜内牙齿向量匹配的镜外牙齿向量。将镜内牙齿信息在第一三维模型上与匹配的镜外牙齿信息结合调整。获得第二三维模型。
[0058] 请参阅图3，其示出了本发明一个实施例提出的牙齿向量匹配过程示意图。
[0059] 优选的，第二三维模型创建模块105还包括牙齿向量获取模块。牙齿向量获取模块将牙齿信息送入预先训练好的向量提取网络中，输出如图3所示的牙齿向量。向量提取网络根据以牙龈到牙冠的向量作为标签数据，采集多组训练数据对网络进行训练，损失函数采用均方差损失函数。
[0060] 一般情况下，如图3所示，牙医镜内的镜内牙齿向量往往只有一两个，以目标最大的镜内牙齿向量作为待匹配的镜内牙齿向量。
[0061] 优选的，第二三维模型创建模块105还包括搜索范围获取模块。搜索范围获取模块用于以第一方向 所在的直线到牙医镜边缘的点作为搜索边界点A。过搜索边界点A做镜面法向量 的平行线，获得搜索边界 以第一方向 和搜索边界 构成的范围作为搜索范围。在搜索范围内逐个寻找与待匹配的镜内牙齿向量匹配的境外牙齿向量。
[0062] 为了准确匹配镜内牙齿向量和镜外牙齿向量，本发明实施例根据牙齿向量以及牙齿轮廓特征数据来进行匹配。
[0063] 优选的，第二三维模型创建模块105还包括向量匹配模块。向量匹配模块用于获得镜外牙齿向量和镜内牙齿向量的长度差异。根据牙齿信息获得镜内牙冠周长和镜外牙冠周长。镜内牙冠周长和镜外牙冠脸轮廓周长的比值作为牙冠周长比。以向量像素差和牙冠周长建立匹配模型进行向量匹配。在本发明实施例中，长度差异通过向量像素数量差异获得。
[0064] 优选的，本发明实施例的匹配模型为：
[0065]
[0066] 其中，τi为镜内牙齿向量在搜索范围内的第i个镜外牙齿向量的匹配度；Ei为第i个向量像素差； 第i个牙冠周长比；α和β为模型拟合参数。
[0067] 由此获得搜索范围内每个镜外牙齿向量与待匹配的镜内牙齿向量的匹配度。匹配度越小，则认为镜内牙齿向量和镜外牙齿向量越匹配。
[0068] 由此获得镜内牙齿对应的境外牙齿。基于第一三维模型，将对应的镜内牙齿信息进一步调整拟合，得到更加完整的第二三维模型。通过连续多帧图像采集，确保每个牙齿内侧信息都出现在牙医镜内，经过多次拟合，得到完整的第二三维模型。第二三维模型包含牙齿的内外信息，通过牙医镜图像的颜色特征使得第二三维模型还包括牙齿的颜色特征，表现出的信息更加丰富。
[0069] 需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0070] 本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0071] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
