[0041] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0042] 本发明是通过关键点诱导适用于密度不均匀和大小不规范的异质矩形框的卷积特征，用于区域建议的训练，其中密度不均匀是指矩形框在图像中的分布密度不均匀，如集中分布在左上角，大小不规范是指矩形框的尺寸不统一；矩形框卷积特征该构造方法的梗概如图2‑图7所示。首先，通过检测到的关键点，生成矩形框集合，如图2所示；其次将矩形框按照面积大小进行分组，如图3所示；再次，根据组别数设计标签特征的尺寸，如图4所示；然后，根据组别数的4倍设计回归特征的尺寸，如图5所示；再将矩形框的标签映射到标签特征上，如图6所示，然后，将矩形框的回归值映射到回归特征上，如图7所示；最后，将标签特征和回归特征代入卷积网络训练生成区域建议，如图8所示。
[0043] 图1为本发明实施例提供的基于关键点的候选目标生成方法流程图，该方法具体包括如下步骤：
[0044] S1、对关键点集D进行二样本抽样并生成矩形框；
[0045] 本发明所要解决的问题是由关键点集D诱导用于深度学习的特征，以便训练出吸附于关键点这一局部属性的区域建议，使区域建议具有一定的智能性、针对性。在本发明实施例中，关键点集D已基于图像处理技术提取出来，如基于Harris角点检测图像中的关键点坐标，形成关键点集D，基于关键点集D来生成矩形框，假定关键点集中有n个关键点，可以形成n(n‑1)/2个矩形框，即在关键点集D中任意抽取两个样本关键点pi和pj，以样本关键点pi和pj作为矩形框对角线上的两端点，来构建矩形框。假定样本关键点pi和pj的坐标分别为(xi,yi)、(xj,yj)，构成矩形框的四个端点坐标依次为(xi,yi)、(xj,yi)、(xj,yj)及(xi,yj)；
[0046] S2、建立各矩形框的正负标签及回归值数组；
[0047] 矩形框的正负标签的建立方法如下：根据训练数据集，计算矩形框与标注区域的交集与并集的比值，根据比值对矩形框进行0标签或1标签的映射，若比值大于设定值，则矩形框的标签设为正标签1，否则矩形框的标签设为负标签0；
[0048] 其中标注区域是数据集自带的，是指已经在图像上标识了目标的位置和类别。
[0049] 矩形框的回归值数组建立方法如下：对于标签为正标签1的矩形框，回归值数组为矩形框与标注区域之间中心点的横坐标差、中心点的纵坐标差、宽度差、高度差所组成的四元数组；
[0050] 正样本为目标样本，负样本不是目标样本，因此不需要回归坐标位置。
[0051] S3、基于面积大小对矩形框进行分组，基于组别数来构建表示正负标签的特征立方体，称为标签特征；
[0052] 在本发明实施例中，步骤S3具体包括如下步骤：
[0053] S 31 、基 于面 积 大小 对矩 形 框进 行分 组 ，分成 c 个组 别 ，其中Smax为工作数据集中所有图像的最大尺寸面积；
[0054] S32、正负标签特征立方体的通道数设置为c，宽和高分别为w＝[W/shrank]和h＝[H/shrank]，标签特征立方体的宽和高由卷积网络的池化操作确定，设输入图像的宽和高分别为W和H，卷积网络中池化操作所产生的缩减倍数为shrank，则标签特征立方体的宽和高分别为w＝[W/shrank]和h＝[H/shrank]
[0055] 在本发明实施例中，步骤S31具体包括如下步骤：
[0056] 设D＝{pi＝(xi,yi)|i＝0,1,…,N}是检测到的关键点集合，矩形框集合A＝{aij＝(xi,yi,xj,yj)}，其中xi≤xj,yi≤yj，(xi,yi),(xj,yj)∈D；设数据集中所有图像的最大尺寸为Smax，则A的分组为：A＝A0∪A1∪…∪Ac‑1(如图3所示)，其中第0组矩形框，aij∈A0满足sk+1 k(aij)＞Smax/2，其中第k(k＝1,…,c‑2)组矩形框，aij∈A1满足Smax/2 ＜s(aij)≤Smax/2 ，第c‑1组aij∈Ac‑1满足s(aij)≤16，s(●)表示●的面积； 也即：c＝
max
[ln(S /16)/ln(2)]+1，[●]表示●的整数部分。
[0057] 获取数据集中所有图像的最大尺寸面积，其尺寸为Smax，从最大尺寸Smax开始重复模2，直到结果小于等于16，设总共除了c次，其中c＝[ln(Smax/16)/ln(2)]+1，正负标签特征立方体的通道数设置为c(正负标签的特征立方体长度)，标签特征立方体的宽和高由卷积网络的池化操作确定，设输入图像的宽和高分别为W和H，卷积网络中池化操作所产生的缩减倍数为shrank，则标签特征立方体的宽和高分别为w＝[W/shrank]和h＝[H/shrank]，通道数设置为c。
[0058] S4、基于4倍组别数来构建表示回归变量的特征立方体，称为回归特征；
[0059] 设输入图像的宽和高分别为W和H，则回归特征的宽和高分别为：w＝[W/shrank]和h＝[H/shrank]，通道数设置为4c。
[0060] S5、将矩形框的正负标签映射到标签特征上；
[0061] 若矩形框共分为c个组别，则标签特征上设有c个通道，对于任一待映射矩形框，若矩形框aij＝(xi,yi,xj,yj)∈Ak，矩形框aij的中心点坐标为：ctij＝((xi+xj)/2,(yi+yj)/2)，则将aij的正负标签映射到第k个通道上的[ctij/shrank]坐标点处，其映射过程具体如下：
[0062] (1)针对矩形框aij，若该矩形框面积s(aij)大于16，将图像的最大面积Smax除以该k k+1矩形框面积S(aij)，若Sxam/S(aij)的比值落在[2 ,2 )的区间内，则将矩形框aij的正标签或负标签映射到特征的第k个通道上的[ctij/shrank]坐标点处，其中k＝0,1,2,…,c‑2；(2)该矩形框面积s(aij)小于等于16，则将矩形框aij的正标签或负标签映射到特征的第c‑1个通道上的[ctij/shrank]坐标点处，其中c＝[ln(Smax/16)/ln(2)]+1，[●]表示●的整数部分，其具体实现方法如下：
[0063] 对于任意一个待映射矩形，(1)当该矩形框面积大于16时，若该矩形框面积大于Smax/2，则将该矩形映射到第0个通道上；若该矩形框面积小于等于Smax/2大于Smax/4，则将该矩形映射到第1个通道上；以此类推，直到倒数第二个通道映射完毕；(2)若该矩形框面积小于等于16，则将该矩形的正标签或负标签映射到特征的最后一个通道上的某个位置，其中所述的某个位置为图像中待映射矩形的中心点位置经卷积网络卷积所得到的坐标位置。
[0064] S6、将矩形框的回归值数组映射到回归特征上；
[0065] 对于标签为正标签1的矩形框aij，若aij＝(xi,yi,xj,yj)∈Ak，即最大尺寸矩形框面k k+1积Smax除以矩形面积S(aij)，若Smax/S(aij)的比值落在[2 ,2 )的区间内，即矩形框aij∈Ak，其中心点坐标为：ctij＝((xi+xj)/2,(yi+yj)/2)，则将aij的回归值四元数组依次映射到第4k到4k+3个通道的[ctij/shrank]坐标点处。
[0066] S7、将完成相关映射的标签特征和回归特征代入已知的卷积网络训练，生成区域建议。
[0067] 在本发明实施例中，完成相关映射的标签特征和回归特征分别是指：完成正负标签映射的标签特征及完成回归值数组映射的回归特征，此外，训练区域建议的神经网络采用现有的。
[0068] 本发明提供的基于关键点的区域建议生成方法具如下益效果：
[0069] 1.提供了一种基于关键点的区域建议生成方法，将目标的局部属性应用于区域建议，提高了区域建议的智能性、针对性。
[0070] 2.该方法首先提取图像中的关键点；其次生成训练矩形框；再次，构建表示正负标签和回归变量的特征立方体；然后建立矩形框到正负标签特征和回归特征的映射；最后，将标签特征和回归特征用于深度神经网络的训练，生成区域建议，以便实现区域建议的智能化。
[0071] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
