首页 > 专利 > 西安交通大学 > 基于共享弱分类器组合的人手分类器以及训练和检测方法专利详情

基于共享弱分类器组合的人手分类器以及训练和检测方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2014-07-22
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2014-12-03
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2018-06-05
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2034-07-22
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201410351088.1 申请日 2014-07-22
公开/公告号 CN104123570B 公开/公告日 2018-06-05
授权日 2018-06-05 预估到期日 2034-07-22
申请年 2014年 公开/公告年 2018年
缴费截止日
分类号 G06K9/66 主分类号 G06K9/66
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 2
权利要求数量 3 非专利引证数量 1
引用专利数量 5 被引证专利数量 0
非专利引证 1、李丹立等.一种人手检测系统的设计与实现《.计算机应用与软件》.2011,第28卷(第9期),张玲玲.基于肤色和Real AdaBoost的人手检测方法研究《.中国优秀硕士学位论文全文数据库 信息科技辑》.2013,(第7期),;
引用专利 CN101763515A、CN103793056A、WO2013091370A1、US2014193088A1、US2014133758A1 被引证专利
专利权维持 4 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 西安交通大学 当前专利权人 西安交通大学
发明人 梅魁志、席宝、彭静帆、张冀、李博良、李国辉 第一发明人 梅魁志
地址 陕西省西安市咸宁西路28号 邮编 710049
申请人数量 1 发明人数量 6
申请人所在省 陕西省 申请人所在市 陕西省西安市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
西安通大专利代理有限责任公司 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
陆万寿
摘要
本发明公开了一种基于共享弱分类器组合的人手分类器及其检测方法,能够从杂乱背景中检测多姿态手。在分类器训练过程中boosting的每一轮,都选取一组共享特征,使用该组共享特征构建一个对应的共享弱分类器组合。同时,使用共享特征组合构建对应的多阈值共享弱分类器组合,提升了分类器的分类能力。
  • 摘要附图
    基于共享弱分类器组合的人手分类器以及训练和检测方法
  • 说明书附图:图1
    基于共享弱分类器组合的人手分类器以及训练和检测方法
  • 说明书附图:图2
    基于共享弱分类器组合的人手分类器以及训练和检测方法
  • 说明书附图:图3
    基于共享弱分类器组合的人手分类器以及训练和检测方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2018-06-05 授权
2 2014-12-03 实质审查的生效 IPC(主分类): G06K 9/66 专利申请号: 201410351088.1 申请日: 2014.07.22
3 2014-10-29 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种共享弱分类器组合的人手分类器的训练方法,该人手分类器由多级强分类器级联构成,每一级强分类器由多对共享弱分类器组合构成;待检目标图像必须被每一级强分类器判断为“包含人手”,整个级联分类器才会最终判断为“包含人手”,否则判断为“不包含人手”,其特征在于:
假设一共有C类样本类别,N个训练样本,每个训练样本vi对于类别c的权重为WiC , 共有C个权重;nf个弱分类器作为一个组合,且样本集被划分为了nf个子集,则,第k个弱分类器为:
其中,m为训练的轮数, 为训练样本中第k个样本的特征值, 为人手分类器对应于类别c的阈值,Sk(nf)为nf个子集中的第k个子集;
该组弱分类器组合表示为:
其中,该组合的集合中,两两子集互斥,全部子集的并集为全部的样本类别;
该组弱分类器组合的损失函数为:
该组弱分类器的个数平均每减少1,该组弱分类器组合的分类误差总和的增加为:
其中,JC为弱分类器的个数为C时,该组弱分类器组合的误差总和,Jnf为弱分类器的个数为nf时,该组弱分类器组合的误差总和,
在上述公式(4)中,以 最小为目标,选取弱分类器组合;
在训练每一级强分类器的过程中,每训练得到一个弱分类器组合,计算当前状态下强分类器对训练样本分类的误检率,如果该误检率高于该级强分类器的误检率阈值,则继续训练,否则训练结束。

2.一种基于权利要求1所述的训练方法的人手检测方法,其特征在于:包括以下步骤:
(1)采集待检测图像;
(2)对待检测图像进行特征提取;
(3)将步骤(2)提取的特征与每一个弱分类器的阈值进行比较,得到弱分类器的输出;
(4)将强分类器下各个弱分类器的输出值累计相加求和,然后将该求和与强分类器的阈值比较,如果求和大于强分类器的阈值,则判断为人手,进行下一级的判断,只有每一级均判断为人手,最终人手分类器才判断为人手,否则结束。

3.根据权利要求2所述的检测方法,其特征在于:所述步骤2中提取的特征包括:Haar特征、HOG特征以及方差特征。
说明书

技术领域

[0001] 本发明属于计算机视觉以及机器学习领域,适用于对具有较强外观多样性的目标训练一个强分类器,并使用该分类器在复杂的背景中对该目标进行检测。

背景技术

[0002] 随着计算机科学技术的快速发展,人机交互的方式变的多样化,交互体验也有显著的提高,基于计算机视觉的手势操控是近年来应用较多的一种方式。目前,许多智能电视都配备了手势操控的功能。利用手势进行设备的操控,其核心技术为手势的识别与手的跟踪,而这两个核心技术的前提是能够从摄像头捕获的图像中精确地检测到手出现的位置。然而,由于手的变化多样性很强,从杂乱背景中检测多种姿态的手的效果并不理想。
[0003] 目前对手进行检测的方法总体上可以分为两大类,分别是仅利用普通单目光学摄像头捕获的图像进行手的检测的方法,以及利用摄像头和其他辅助设备如红外发射接收装置等得到的信息来检测图像中的手。后者使用高成本的设备获得关于目标更为丰富的信息,从而能够仅使用简单的软件算法而得到较准确的检测结果。而前者设备成本较低,容易获得,但捕获的信息较少,所以算法较为复杂,且检测效果稍差一些。利用普通单目光学摄像头捕获的图像进行手的检测,具体方法又可以分为三类,分别为基于颜色信息的方法,基于运动信息的方法,以及基于机器学习的方法。
[0004] (1)基于颜色信息的方法
[0005] 这种方法根据人手皮肤的颜色建立肤色模型,将肤色模型与捕获到的图像进行匹配,匹配成功的区域为肤色区域,即可认为是手所在的区域。也可以进一步通过其他辅助条件对肤色区域进行进一步的筛选,以获得更准确的手的位置。这种方法简单易行,计算复杂度低,检测效率高,但由于对颜色敏感,容易受到环境光照变化和不同个体肤色差异性的影响,从而导致检测准确度的降低。
[0006] (2)基于运动信息的方法
[0007] 这种方法根据摄像头连续捕获的视频帧序列确定图像中运动的身体部位,并将其分割出来。在此分割的基础上再增添限制条件,进一步确定手所在的位置。这种方法避免了基于颜色的方法中环境光照变化和肤色差异对检测效果的影响,但是缺点是不能检测静止的目标,并且要求摄像头须为固定放置的。
[0008] (3)基于机器学习的方法
[0009] 基于机器学习的方法通过从图像中提取特征,训练分类器来对手进行检测。这种方法相对于前两种方法较为复杂,且通过机器学习训练分类器是一个比较耗时的过程。如何有效的从图像中提取特征,并使用较少的时间训练出一个对多种姿态的手都具有较强分类能力和较快检测速度的分类器是最关键的问题。Antonio Torralba等人在2004年的CVPR(IEEE Conference of Computer Vision and Pattern Recognition)会议上发表的论文《Sharing features:efficient boosting procedures for multiclass object detection》中提出的JointBoost算法。该算法使用了不同类目标间的共享特征来训练分类器,但是对于共享特征未覆盖到的类别不能有效的分类,并且某个共享弱分类器选取的是否合适,会严重影响后续特征的选择以及分类器的构建,导致影响整个分类器性能。

发明内容

[0010] 本发明的目的在于提供一种基于共享分类器组合的人手分类器及其实现方法。使用从样本集图像中提取的特征,训练出一个具有较强鲁棒性的分类器,即对多种姿态的手都能有效检测,同时该分类器与其他方法训练得到的分类器相比检测速度更快。
[0011] 基于此目的,本发明的人手分类器由多级强分类器级联构成,每一级强分类器由多对共享弱分类器组合构成;待检目标图像必须被每一级强分类器判断为“包含人手”,整个级联分类器才会最终判断为“包含人手”,否则判断为“不包含人手”。
[0012] 本发明所述的人手分类器的训练方法为:假设一共有C类样本类别,N个训练样本,每个训练样本vi对于类别c的权重为 共有C个权重;nf个弱分类器作为一个组合,且样本集被划分为了nf个子集,则,第k个弱分类器为:
[0013]
[0014] 其中,m为当前所在一级强分类器训练的轮数, 为训练样本中第i个样本的第k个特征的值, 为第k个弱分类器对应于类别c的阈值,Sk(nf)为nf个子集中的第k个子集;
[0015] 该组弱分类器组合表示为:
[0016]
[0017] 其中,该组合的集合中,两两子集互斥,全部子集的并集为全部的样本类别;
[0018] 该组弱分类器组合的损失函数为:
[0019]
[0020] 该组弱分类器的个数平均每减少1,该组弱分类器组合的分类误差总和的增加为:
[0021]
[0022] 其中,JC为弱分类器的个数为C时,该组弱分类器组合的误差总和,Jnf为弱分类器的个数为nf时,该组弱分类器组合的误差总和,
[0023] 在上述公式(4)中,以 最小为目标,选取弱分类器组合;
[0024] 在训练每一级强分类器的过程中,每训练得到一个弱分类器组合,计算当前状态下强分类器对训练样本分类的误检率,如果该误检率高于该级强分类器的误检率阈值,则继续训练,否则训练结束。
[0025] 本发明所述的人手检测方法包括以下步骤:
[0026] (1)采集待检测图像;
[0027] (2)对待检测图像进行特征提取;
[0028] (3)将步骤(2)提取的特征与每一个弱分类器的阈值进行比较,得到弱分类器的输出;
[0029] (4)将强分类器下各个弱分类器的输出值累计相加求和,然后将该求和与强分类器的阈值比较,如果求和大于强分类器的阈值,则判断为人手,进行下一级的判断,只有每一级均判断为人手,最终人手分类器才判断为人手,否则结束。
[0030] 所述步骤2中提取的特征包括:Haar特征、HOG特征以及方差特征。
[0031] 与现有技术相比,本发明通过在boosting的每一轮中训练一组共享弱分类器的方法,以及对每个弱分类器使用于目标类别对应的多个阈值的方法,避免了JointBoost算法中可能出现的对于未被共享特征覆盖到的目标类别无法有效分类的问题。而由于多个类别目标间的共享特征,在使用该共享特征训练得到的弱分类器对这些类别的目标进行检测的时候,弱分类器也可以共享,从而减少了检测时的总体的判断次数,加快了检测速度。

实施方案

[0036] 本发明所述的人手检测方法分为待检图像读入、图像特征计算、人手目标判断,以及检测结果输出这四部分组成。具体包括人手训练集与测试集的建立、样本的特征提取方法以及分类器的训练方法。对于分类器的训练方法,为了实现本发明的目的,本发明在JointBoost算法的基础上采用以下方法做出了多处改进:
[0037] 首先,在训练分类器的过程中,在boosting的每一轮,得到若干个共享特征的组合。对于共享组合中每个特征的样本类别所组成的集合两两互斥,并且全部集合的并集为全部的样本类别。根据这样的一个共享特征的组合,训练出一组对应的弱分类器。为了确定共享特征组合中特征的个数,定义了一个“最小误差上升”的判别准则。
[0038] 其次,对于每一个弱分类器,其函数的输出值是根据样本的某个特征的值与分类器的阈值进行比较得出的结果确定的。由于涉及到多姿态或多类目标的检测,本发明中每个弱分类器根据类别的不同,对各个类别分别设定了一个更加适合的阈值,以加强分类器对于不同类别目标与背景之间的分类能力。
[0039] 首先,对分类器的整体结构与工作过程进行描述。图1为本发明基于共享弱分类器组合的人手分类器的整体结构框图。待检测的图像窗口被读入后,首先需要对图像进行特征提取。本发明的分类器根据待检目标图像的Haar特征、HOG特征以及方差特征进行判断是否包含人手,因此需要对该待检目标图像进行计算,提取出对应的三种特征。
[0040] 得到待检目标图像的Haar、HOG以及方差特征后,将这三种特征的值输入到训练得到的分类器中。通过与一系列的阈值进行比较后,综合所有的特征对应的得分情况,分类器给出最终的判断,该目标图像是否包含人手。分类器采用多级强分类器级联的结构,待检目标图像必须通过每一级强分类器,均被判断为“包含人手”,整个级联分类器才会最终判断为“包含人手”,否则,任意一级强分类器判断为“不包含人手”都会导致待检目标图像在该级退出,并且被级联分类器最终判断为“不包含人手”。级联分类器的使用大幅降低了误检的发生。
[0041] 下面对本发明基于共享弱分类器组合的人手分类器的训练方法进行描述。
[0042] 整个分类器由多级强分类器级联构成,而每一级强分类器由若干对共享弱分类器组合共同构成。对于每一级强分类器的获得,首先设置一个误检率阈值,在训练得到每一组共享弱分类器组合后,都综合目前已经获得的所有弱分类器组合对训练样本进行一次判断,若误检率高于预设的阈值,则继续下一轮的弱分类器组合的训练;相反,若低于预设的阈值,则不再进行下一轮,本级强分类器训练完毕。将所有训练得到的共享弱分类器组合合在一起即为该级强分类器。
[0043] 下面对于共享弱分类器组合以及训练方法进行描述。
[0044] 假设一共有C类,一共有N个训练样本,每一个训练样本vi对于类别c的权重为且共有C个权重。假设有nf个弱分类器作为一个组合,且样本集被划分为了nf个子集,则第k个弱分类器表示为:
[0045]
[0046] 其中 为该分类器对应于类别c的阈值,这样每一个弱分类器hm对于不同的类别就会有多个不同的阈值。该组弱分类器组合可以表示为:
[0047]
[0048] 其中 且
[0049] 此时的损失函数用弱分类器的形式可以表示为:
[0050]
[0051] 如果使用弱分类器组合来表示损失函数,则为:
[0052]
[0053] 当nf=1时,表示选取的特征为所有样本分组所共享,因此只选取出一个共享特征,并构建一个所有样本分组共享的弱分类器;而当nf=C时,即表示将样本集按照样本自身的类别进行分组,对每一类分别单独进行训练,因此不使用共享特征。当nf=C时,损失函数的值达到最小,但是分类器数量达到最大,导致检测速度也是最慢的。而当nf逐渐减少时,损失函数的值会有所增大,但是分类器数量减少,检测速度增快。
[0054] 为了得到合适的nf值,使用最缓误差上升的判别准则对nf的值进行选取。首先,我们对这C类样本分别各自使用独有特征训练,则得到的弱分类器组合中有C个非共享的弱分类器,且假设它们的误差总和为JC。然后,减少分类器组合中弱分类器的个数至C-1(一个弱分类器变为两类样本的共享弱分类器),此时误差总和为JC-1。那么,当弱分类器个数减少1时,分类误差总和增加了ΔJC-1=JC-1-JC。重复这一过程,当分类器组合中弱分类器个数减少至nf时(一些弱分类器可能共享与几类样本之间,可能还存在一些剩下几类样本各自的独有弱分类器),分类误差总和增加了ΔJnf=Jnf-JC,弱分类器的个数平均每减少1,弱分类器组合的分类误差总和的增加这样表示:
[0055]
[0056] 式(5)表示了随弱分类器组合中分类器个数减少,分类误差总和增加的快慢,即误差上升梯度的概念。误差增量(分子)越大,组合中弱分类器个数的减少量(分母)越小,则的值越大,表示选取nf个弱分类器的组合时,分类误差增加体现出的负面效果相对于分类器个数减少体现出的积极效果越明显;相反,分子越小,分母越大,则 值越小,表示减少分类器个数带来的积极效果越明显,而分类误差的增加越不明显。因此,如图1所示,我们选择使得 的值达到最小的弱分类器组合。横坐标为分类器组合中弱分类器的个数,纵坐标为一组分类器的分类误差总和,线段1和线段2分别代表当分类器组中弱分类器个数从C减少到1和nf个时,分类误差总和增加的趋势。线段1,2与横坐标轴的夹角分别为α1,α2,且tanα1与tanα2的值分别表示了线段1与线段2的梯度,即分类误差总和随组合中弱分类器减少而增加的快慢程度。图中tanα1>tanα2,即2的误差增加较1更缓慢,所以2相对于1是一个更好的弱分类器组合方案。

附图说明

[0032] 下面结合附图说明和具体实施方式对本发明作进一步详细说明。
[0033] 图1基于共享弱分类器组合的人手分类器整体结构框图;
[0034] 图2每一级强分类器训练流程图;
[0035] 图3使用最缓误差上升准则选择弱分类器组合中分类器个数示意图;
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号