首页 > 专利 > 杭州电子科技大学 > 一种适用于深度图像的人体目标跟踪方法专利详情

一种适用于深度图像的人体目标跟踪方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2017-05-09
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2017-10-20
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2020-05-26
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2037-05-09
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201710322399.9 申请日 2017-05-09
公开/公告号 CN107180435B 公开/公告日 2020-05-26
授权日 2020-05-26 预估到期日 2037-05-09
申请年 2017年 公开/公告年 2020年
缴费截止日
分类号 G06T7/292 主分类号 G06T7/292
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 0
权利要求数量 1 非专利引证数量 0
引用专利数量 0 被引证专利数量 0
非专利引证
引用专利 被引证专利
专利权维持 5 专利申请国编码 CN
专利事件 许可 事务标签 公开、实质审查、授权、实施许可
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 孟明、张松、王子健、马玉良、高云园、罗志增 第一发明人 孟明
地址 浙江省杭州市下沙高教园区2号大街 邮编 310018
申请人数量 1 发明人数量 6
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州君度专利代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
杜军
摘要
本发明提出了一种适用于深度图像的人体目标跟踪方法。本发明首先利用人体目标深度值,基于阈值判断设计一种目标模板更新方法。其次,通过计算Kalman滤波器的预测位置与当前跟踪框的质心位置距离,判断跟踪是否受障碍物干扰而使跟踪框跳变,设计一种障碍物屏蔽方法,消除障碍物区域对跟踪的干扰。然后通过人体目标检测的方法实现再跟踪。最后基于阈值判断,设计屏蔽障碍物解除的机制,使深度相机改变视角后,解除视角改变前的障碍物区域屏蔽。本发明使得深度图像中人体目标的跟踪成功率有明显的提高。
  • 摘要附图
    一种适用于深度图像的人体目标跟踪方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2022-03-08 专利实施许可合同备案的生效 IPC(主分类): G06T 7/292 合同备案号: X2022330000044 专利申请号: 201710322399.9 申请日: 2017.05.09 让与人: 杭州电子科技大学 受让人: 睿旭康(杭州)智能技术有限公司 发明名称: 一种适用于深度图像的人体目标跟踪方法 申请公布日: 2017.09.19 授权公告日: 2020.05.26 许可种类: 普通许可 备案日期: 2022.02.18
2 2020-05-26 授权
3 2017-10-20 实质审查的生效 IPC(主分类): G06T 7/292 专利申请号: 201710322399.9 申请日: 2017.05.09
4 2017-09-19 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种适用于深度图像的人体目标跟踪方法,其特征在于在深度图像中能避免传统Meanshift-Kalman跟踪方法在跟踪过程中导致的跟踪框跳变现象,该方法具体包括以下步骤:
(1)首先针对待跟踪目标,手动初始化MeanShift跟踪区域,得到初始跟踪区域质心;
(2)对跟踪框质心运动轨迹建立速度-位移-加速度运动模型,从而用Kalman滤波器预测目标在每一帧中的位置;
(3)对每一帧的跟踪,将当前MeanShift跟踪区域质心位置的深度值与初始跟踪区域质心位置深度值相比较,若二者相差大于设定阈值D1,更新目标直方图模板为当前跟踪区域的直方图;
(4)计算每一帧Meanshift跟踪区域质心位置与Kalman滤波器预测质心位置的距离,若当前跟踪区域质心位置与Kalman滤波器预测到的质心位置大于设定阈值D2,则认为跟踪目标正在经过障碍物,且该障碍物被Meanshift误判断为跟踪目标并发生跳变;
(5)将误跟踪框设定为障碍物位置区域,生成一块大小与误跟踪框大小相同、深度值全为1的掩膜,将掩膜覆盖到障碍物区域,障碍物被屏蔽;
(6)启动人体目标检测机制,用事先训练好的Adaboost分类器重新检测出人体目标,并将检测得到的矩形框作为Meanshift新的跟踪框;
(7)计算当前跟踪区域质心与屏蔽区域质心距离,若该距离大于设定阈值D3,则认为人体已经不再靠近障碍物区域,解除屏蔽,消除掩膜。
说明书

技术领域

[0001] 本发明属于计算机视觉领域,涉及一种针对深度图像的人体目标跟踪的方法。

背景技术

[0002] 在智能机器人、智能监控和无人车等的现代人工智能领域,人体目标检测与跟踪是一个关键的技术环节,对智能设备的控制决策起着至关重要的作用。因此人体目标检测与跟踪一直是计算机视觉领域的研究热点。
[0003] 以微软Kinect为代表的深度信息传感器,能以较高分辨率和帧率获取深度图像序列,深度图像有着能提供距离信息、抗光照干扰能力强等的优势,在可移动的智能机器人控制中有着难以替代的作用。
[0004] 卡尔曼滤波器(Kalman Filter)是一种基于被估计信息数学模型的递推滤波算法。根据对系统建立的状态模型与观测模型,Kalman滤波器可以由系统前一时刻的状态预测和估计下一时刻的状态,在目标跟踪中能起到目标位置预测的作用。该算法可靠性较高,被广泛应用于飞行器制导、无人设备控制等领域。
[0005] 均值飘移(MeanShift)算法是一种基于目标颜色分布信息的半自动图像目标跟踪算法。在没有严重背景干扰的情况下,该算法能较稳定的跟踪图像序列中的运动人体。由于大多数实际情况中,人体目标跟踪过程很可能存在诸如大面积背景干扰、大面积遮挡等的问题。因此多将Kalman滤波器与MeanShift算法相结合,来解决这些问题。但是由于深度图像的特殊性,该组合方法应用到深度图像时存在以下问题:1)当人体目标靠近障碍物时,跟踪框会跳变至障碍物区域造成跟踪失败,且传统的结合Kalman滤波器的MeanShift方法无法实现再跟踪。2)当人体目标较跟踪初始时刻远离深度相机,深度值改变后,在人体目标附近像素区域出现较靠近深度相机的障碍物时,跟踪框会跳变至障碍物区域,造成跟踪过失败,且传统的结合Kalman滤波器的MeanShift方法无法实现再跟踪。

发明内容

[0006] 为了应对上面提到的问题,本发明在传统Kalman-MeanShift组合算法基础上提出一种用于深度图像的人体目标跟踪方法。
[0007] 为了实现以上目的,本发明方法主要包括以下步骤:
[0008] (1)首先针对待跟踪目标,手动初始化MeanShift跟踪区域,得到初始跟踪区域质心;
[0009] (2)对跟踪框质心运动轨迹建立速度-位移-加速度运动模型,从而用Kalman滤波器预测目标在每一帧中的大致位置;
[0010] (3)对每一帧的跟踪,将当前MeanShift跟踪区域质心位置的像素深度值与初始跟踪区域质心位置像素深度值像素深度值相比较,若二者相差大于设定阈值D1,更新目标直方图模板为当前跟踪区域的直方图;
[0011] (4)计算每一帧Meanshift跟踪区域质心位置与Kalman滤波器预测质心位置的距离,若当前跟踪区域质心位置与Kalman滤波器预测到的质心位置大于设定阈值D2,则认为跟踪目标正在经过障碍物,且该障碍物被Meanshift误判断为跟踪目标并发生跳变;
[0012] (5)将误跟踪框设定为障碍物位置区域,生成一块大小与误跟踪框大小相同、像素深度值全为1的掩膜,将掩膜覆盖到障碍物区域,障碍物被屏蔽;
[0013] (6)启动人体目标检测机制,用事先训练好的Adaboost分类器重新检测出人体目标,并将检测得到的矩形框作为Meanshift新的跟踪框;
[0014] (7)计算当前跟踪区域质心与屏蔽区域质心距离,若该距离大于设定阈值D3,则认为人体已经不再靠近障碍物区域,解除屏蔽,消除掩膜。
[0015] 本发明具有如下有益效果:
[0016] 1、当人体目标与深度相机的距离改变后,跟踪区域的颜色分布直方图与初始时刻的模板匹配较差,在适当更新模板后,各帧的跟踪区域与模板匹配度好,降低跟踪被其他物体干扰的可能性。
[0017] 2、人体目标靠近障碍物时,跟踪框会跳变至障碍物区域,增加的障碍物屏蔽机制能有效抑制再跟踪后的各帧里,跟踪框继续跳变。
[0018] 3、对于靠近障碍物造成的跟踪框跳变,人体目标检测机制能有效、准确的实现再跟踪。
[0019] 4、当深度相机视角改变时,原本屏蔽的区域已经不是障碍物区域,此时响应的障碍物屏蔽解除机制能避免屏蔽区域对后续跟踪的影响。

实施方案

[0021] 下面结合附图描述本发明改进Kalman-MeanShift算法的深度图像人体目标跟踪方法。
[0022] 图1为改进算法流程图,主要包括以下几个步骤:
[0023] (1)首先针对待跟踪目标,初始化MeanShift跟踪区域,得到初始跟踪区域质心;
[0024] (2)对跟踪框质心运动轨迹建立相关运动模型,从而用Kalman滤波器预测目标在每一帧中的大致位置;
[0025] (3)将当前MeanShift跟踪区域质心位置的深度值与初始跟踪区域质心位置深度值相比较,若二者相差较大则表明当前的目标区域深度值较初始时刻变化较大,此时更新目标直方图模板为当前跟踪区域的直方图;
[0026] (4)计算每一帧Meanshift跟踪区域质心位置与Kalman滤波器预测质心位置的距离,若当前跟踪区域质心位置与Kalman滤波器预测到的质心位置距离过大,则认为跟踪目标正在经过障碍物,且该障碍物被Meanshift误判断为跟踪目标并发生跳变;
[0027] (5)将误跟踪框设定为障碍物位置区域,生成一块大小与误跟踪框大小相同、深度值全为1的掩膜,将掩膜覆盖到障碍物区域,障碍物被屏蔽;
[0028] (6)启动人体目标检测机制,用事先训练好的Adaboost分类器重新检测出人体目标,并将检测得到的矩形框作为Meanshift新的跟踪框;
[0029] (7)计算当前跟踪区域质心与屏蔽区域质心距离,若该距离较大,则认为人体已经不再靠近障碍物区域,解除屏蔽,消除掩膜。
[0030] 下面逐一对各步骤进行详细说明。
[0031] 步骤一,模板更新
[0032] (一)基于人体目标深度值的模板更新方法
[0033] MeanShift是一种基于模板匹配思想的跟踪算法。跟踪初始化后,初始帧的目标区域颜色分布直方图即为跟踪过程中的模板。在深度图像中,由于人体运动,人体目标区域的深度值会发生变化,因此初始帧的目标模板在深度图像中不能作为整个跟踪过程的模板,模板更新方法旨在让人体目标远离或者靠近深度相机时,都有相应的模板用来进行准确跟踪,其实现思想即设定阈值,实时比较当前帧的跟踪区域深度与模板深度,若二者相差大于阈值,就更新当前跟踪区域为新的模板,具体过程如下:
[0034] 1)记录初始帧跟踪模板区域质心位置的深度值Pini;
[0035] 2)在每一帧的跟踪过程中,计算当前跟踪区域质心位置深度值Pcur与模板区域质心位置深度值Pini之差;
[0036] 3)设定深度差阈值D1,若在某一帧中,当前跟踪区域质心位置深度值与模板区域质心深度值差值过大,即当
[0037] |Pini-Pcur|>D1   (1)
[0038] 成立,则更新目标模板,用当前跟踪区域颜色直方图作为新的模板同时重置Pini的值为新的模板区域质心位置深度值。
[0039] 步骤二,障碍物屏蔽
[0040] (一)障碍物干扰判断
[0041] 在跟踪开始之前,建立线性的运动模型,用于跟踪过程中Kalman滤波器对目标质心位置的预测。跟踪过程中,可以利用Kalman滤波器预测位置与当前跟踪区域的质心位置的距离作为障碍物是否干扰跟踪的判断。一般情形下,相邻帧间人体运动的位置变化比较小,并且Kalman滤波器的预测位置与MeanShift跟踪质心比较接近,但当目标靠近障碍物,跟踪框质心会瞬间偏离,而Kalman滤波器预测位置在两帧间不会出现大幅移动,因此如果在某一帧中,Kalman滤波器预测位置y1与当前跟踪框质心位置y2过大,即当[0042] Dis(y1,y2)>D2   (2)
[0043] 成立,则认为人体目标正在受障碍物干扰且已经发生跳变,此时认定跳变后的区域为障碍物区域。
[0044] (二)障碍物屏蔽方法
[0045] 障碍物屏蔽即让MeanShift在后续跟踪过程中不再将目标区域收敛到障碍物区域,因此屏蔽的具体做法是在障碍物区域覆盖一块掩膜,将其与附近区域像素区分开。
[0046] 步骤三,目标检测再跟踪
[0047] (一)基于机器学习的再跟踪方法
[0048] 屏蔽障碍物后需要再跟踪的步骤,来进行后续的跟踪。由于靠近障碍物造成的跳变是由障碍物与人体目标的深度值过于接近引起的,因此在跳变发生前,跟踪框就有小幅度的偏差,Kalman滤波器的预测位置已然不够准确,所以利用目标检测的方法来实现再跟踪。用事先由多种深度、多种姿态、多种角度下的大量深度图像人体数据集训练好的能应用于一般情形下深度图像人体检测的分类器重新检测出人体区域,将检测得到的区域作为新的跟踪区域,就完成了再跟踪。
[0049] 步骤四,障碍物屏蔽解除
[0050] 对于静态背景而言,障碍物屏蔽能一直生效且不影响正常跟踪,而对于深度相机会改变视角的动态背景,在深度相机视角改变后,障碍物已经不在被屏蔽的区域,因此在这种情形下需要解除障碍物屏蔽。无论视角如何改变,被跟踪的人体目标应该始终在深度相机视角内,因此,判断是否需要解除障碍物即判断人体目标是否远离屏蔽区域即可,给定阈值,在屏蔽机制响应后的各帧中,计算当前跟踪区域质心位置y2与屏蔽区域质心位置ys的距离,若距离过大,即当
[0051] Dis(y2,ys)>D3   (2)
[0052] 成立,则认为人体目标已远离障碍物区域,可以解除屏蔽。
[0053] 实验表明,改进后的Kalman-MeanShift算法针对深度图像的人体目标跟踪具有很高的可行性,跟踪成功率较传统方法有明显的提高。

附图说明

[0020] 图1改进Kalman-MeanShift算法流程图。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号