首页 > 专利 > 杭州电子科技大学 > 一种基于区域熵特征的步态识别方法专利详情

一种基于区域熵特征的步态识别方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2018-12-06
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2019-06-21
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2021-04-13
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2038-12-06
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201811487250.7 申请日 2018-12-06
公开/公告号 CN109815786B 公开/公告日 2021-04-13
授权日 2021-04-13 预估到期日 2038-12-06
申请年 2018年 公开/公告年 2021年
缴费截止日
分类号 G06K9/00G06K9/46G06K9/62 主分类号 G06K9/00
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 0
权利要求数量 1 非专利引证数量 0
引用专利数量 3 被引证专利数量 0
非专利引证
引用专利 CN108596026A、US2012016662A1、CN104063702A 被引证专利
专利权维持 4 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 李吉利、邓木清、冯小仍、张敬、曹九稳 第一发明人 李吉利
地址 浙江省杭州市下沙高教园区2号大街 邮编 310018
申请人数量 1 发明人数量 5
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州君度专利代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
朱月芬
摘要
本发明公开了一种基于区域熵特征的步态识别方法。本发明包括预处理、特征提取和分类识别三个部分。具体步骤如下:所述预处理,用于获取标准统一大小的运动目标轮廓序列,包括以下步骤:1‑1.提取运动目标轮廓序列;1‑2.图像标准化;所述特征提取,用于获得具有良好表征性的步态特征参数,包括以下步骤:2‑1.提取步态周期;2‑2.提取区域图像熵特征;步骤3.采用最近邻准则分类识别。本发明提取的区域图像熵特征具有很好的表征性,无需借助复杂的图像处理过程,提取方式简单,避免了降维和数据归一化的步骤,降低了系统复杂度,取得了较高的步态身份认证的识别率。
  • 摘要附图
    一种基于区域熵特征的步态识别方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2021-04-13 授权
2 2019-06-21 实质审查的生效 IPC(主分类): G06K 9/00 专利申请号: 201811487250.7 申请日: 2018.12.06
3 2019-05-28 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于区域熵特征的步态识别方法,其特征在于包括如下步骤:
步骤
1.预处理;
所述预处理,用于获取标准统一大小的运动目标轮廓序列,包括以下步骤:
1‑
1.提取运动目标轮廓序列;
1‑
2.图像标准化;
步骤
2.特征提取;
所述特征提取,用于获得具有良好表征性的步态特征参数,包括以下步骤:
2‑
1.提取步态周期;
2‑
2.提取区域熵特征;
步骤
3.采用最近邻准则分类识别;
步骤1‑1所述的提取运动目标轮廓序列,包括以下步骤:
1‑1‑
1.利用中值滤波的方法对步态视频序列重建背景图像;
t
设I是一个包含N帧的步态视频序列,I表示步态视频序列中的第t幅图像;则背景图像B(x,y)表达为:
1‑1‑
2.利用当前视频帧图像与背景图像B(x,y)进行差分,获得二值化图像序列;设置阈值ε以检测步态运动区域,其计算公式表达为:
t
其中ε为设定的阈值,R (x,y)为第t帧的二值化图像,其中1表示步态运动区域,0表示背景;
1‑1‑
3.形态学处理;
采用膨胀、腐蚀和区域填充的方式对二值化图像进行形态学处理;
1‑1‑4、连通区域分析;
对经过形态学处理的二值化图像运用连通区域分析方法获得连通的运动目标区域;
1‑1‑5、检测运动目标区域
使用Canny算子检测运动目标区域,获得步态运动目标轮廓序列;
步骤1‑2所述的图像标准化,其特征在于:
1‑2‑
1.提取二值化图像序列中每一帧的运行目标图像,获取运行目标图像序列;
1‑2‑
2.将运行目标图像序列中的冗余帧图像与干扰帧图像去除;
1‑2‑
3.将运行目标图像序列中的有效帧图像变为同一标准大小;
步骤2‑1所述的提取步态周期,具体实现如下:
2‑1‑
1.计算运行目标图像序列的有效帧中运动目标的宽高比;
2‑1‑
2.获取运行目标图像序列的周期与关键帧;
通过运动目标侧影的宽高比,对步态的周期进行分析从而获得完整的步态周期图像序列;
步骤2‑2所述的提取区域图像熵特征,具体实现如下:
2‑2‑
1.将步态周期图像序列中每一帧步态周期图像的运动目标区域划分为6个子区域;
2‑2‑
2.计算每一帧步态周期图像的图像熵,同时计算每一帧步态周期图像与其对应的各个子区域的图像熵;
2‑2‑
3.将每一帧步态周期图像的图像熵和6个子区域的图像熵集合成为一个七维图像熵特征;
步骤
3.所述的采用最近邻准则分类识别,具体实现如下:
以图像熵特征作为类匹配模板计算欧氏距离,选取最近的样本区域图像熵所属的类作为归属类,即选取欧氏距离最小的一类作为归属类;
假定共有c个类别:w1,w2,…,wc,每个类别中有训练样本Ni个,i=1,2,…,c;wi类的判别函数表示为:
其中 中i表示第wi类,k表示wi类中训练样本Ni中的第k个样本;决策规则为:若gj(x)=min(x),j=1,2,...,c;则分类结果为:x∈wj。
说明书

技术领域

[0001] 本发明属于模式识别技术领域,具体涉及一种基于区域熵特征的步态识别方法。

背景技术

[0002] 步态识别旨在根据人们走路的姿势识别其身份。与现有的生物特征识别技术相比,它是在远距离情况下唯一可感知的生物行为特征,有非接触性、隐蔽性好、对视频质量要求不高以及难以伪装等特点,因此被广泛应用在视频监控等领域。
[0003] 现有的步态识别算法大多分为两类,即基于模型的方法和基于轮廓的方法。基于模型的方法通过将人体按照生理特征建模,得到了表征人体的一系列静态和动态的参数,并通过分析这些参数实现对人体步态的身份识别。这类方法往往受限于步态图像序列的像素清晰度,而且计算量较大,因此已有的步态识别算法大多都是基于轮廓的步态识别算法。基于轮廓的步态识别算法旨在从步态序列中提取基于人体轮廓、形状所产生的各种统计时空模式特征。此类方法无需复杂的模型构建与模型匹配操作,针对的是整个侧影,涌现出了许多有价值的研究成果。然而,这些方法大多只考虑基于侧影的单帧图像中的人体形状特征,未能有效获取步态的动态性和连续性。另一方面当前的研究仍然面临一个不可避免的问题。即计算复杂度与识别精度的权衡问题。

发明内容

[0004] 本发明的目的是克服现有基于轮廓步态识别技术存在的问题,实现计算复杂度与识别精度的优化平衡,提出一种更为简洁准确的基于区域熵特征的步态识别方法。
[0005] 本发明解决其技术问题所采用的技术方案如下:
[0006] 步骤1.预处理;
[0007] 所述预处理,用于获取标准统一大小的运动目标轮廓序列,包括以下步骤:
[0008] 1‑1.提取运动目标轮廓序列;
[0009] 1‑1‑1.利用中值滤波的方法对步态视频序列重建背景图像;
[0010] 设I是一个包含N帧的步态视频序列,It表示步态视频序列中的第t幅图像;则背景图像B(x,y)表达为:
[0011] 1‑1‑2.利用当前视频帧图像与背景图像B(x,y)进行差分,获得二值图像序列;设置阈值ε以检测步态运动区域,其计算公式表达为:
[0012]
[0013] 其中ε为设定的阈值,Rt(x,y)为第t帧的二值图像,其中1表示步态运动区域,0表示背景;
[0014] 1‑1‑3.形态学处理;
[0015] 采用膨胀、腐蚀和区域填充的方式对二值图像进行形态学处理;
[0016] 1‑1‑4、连通区域分析;
[0017] 对经过形态学处理的二值图像运用连通区域分析方法获得连通的运动目标区域;
[0018] 1‑1‑5、检测运动目标区域
[0019] 使用Canny算子检测运动目标区域,获得步态运动目标轮廓序列。
[0020] 1‑2.图像标准化;
[0021] 1‑2‑1.提取二值图像序列中每一帧的运行目标图像,获取运行目标图像序列;
[0022] 1‑2‑2.将运行目标图像序列中的冗余帧图像与干扰帧图像去除;
[0023] 1‑2‑3.将运行目标图像序列中的有效帧图像变为同一标准大小。
[0024] 步骤2.特征提取;
[0025] 所述特征提取,用于获得具有良好表征性的步态特征参数,包括以下步骤:
[0026] 2‑1.提取步态周期;
[0027] 2‑1‑1.计算运行目标图像序列的有效帧中运动目标的宽高比;
[0028] 2‑1‑2.获取运行目标图像序列的周期与关键帧;
[0029] 通过运动目标侧影的宽高比,对步态的周期进行分析从而获得完整的步态周期图像序列。
[0030] 2‑2.提取区域熵特征;
[0031] 2‑2‑1.将步态周期图像序列中每一帧步态周期图像的运动目标区域划分为6个子区域;
[0032] 2‑2‑2.计算每一帧步态周期图像的图像熵,同时计算每一帧步态周期图像与其对应的各个子区域的图像熵;
[0033] 2‑2‑3.将每一帧步态周期图像的图像熵和6个子区域的图像熵集合成为一个七维图像熵特征。
[0034] 步骤3所述的采用最近邻准则分类识别,具体实现如下:
[0035] 以图像熵特征作为类匹配模板计算欧氏距离,选取最近的样本区域图像熵所属的类作为归属类,即选取欧氏距离最小的一类作为归属类;
[0036] 假定共有c个类别:w1,w2,…,wc,每个类别中有训练样本Ni个,i=1,2,…,c;wi类的判别函数表示为:
[0037]
[0038] 其中 中i表示第wi类,k表示wi类中训练样本Ni中的第k个样本;决策规则为:若gj(x)=mingi(x),i=1,2,...,c;则分类结果为:x∈wj。
[0039] 本发明有益效果:
[0040] 通过本发明首次将图像熵应用于步态识别领域,以图像熵为基础引申出区域熵熵特征,所提取的区域熵特征具有很好的表征性,且提取简单,能够有效地保证步态身份认证的识别率。
[0041] 提取区域熵特征省略了数字图像处理过程中的数据归一化步骤和数据降维的步骤,降低了算法的复杂度,计算速度快,一定程度上保证了复杂度和识别精度的平衡。
[0042] 本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。

实施方案

[0051] 为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白,以下结合附图和实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
[0052] 如图1所示,为本发明实施例的步态识别方法的流程图,包括以下步骤:
[0053] 步骤1.预处理;
[0054] 所述预处理,用于获取标准统一大小的运动目标轮廓序列,包括以下步骤:
[0055] 1‑1.提取运动目标轮廓序列;
[0056] 目前常用的运动目标检测方法包括背景减除法、时间差分法、运动能量检测法和光流法等。背景减除法具有实现简单,运算速度快,在大多数情况下检测结果较好的突出优点。因此采用背景减除法步态运动区域。
[0057] 如图2所示,为本发明实施例的运动目标轮廓提取流程图,包括以下步骤:
[0058] 1‑1‑1.利用中值滤波的方法对步态视频序列重建背景图像;
[0059] 设I是一个包含N帧的步态视频序列,It表示步态视频序列中的第t幅图像;则背景图像B(x,y)表达为: 图3(a)所示,为本发明实施例中步态视频序列中其中的一帧灰度图,如图3(b)所示,为本发明实施例中重建的背景图像。
[0060] 1‑1‑2.利用当前视频帧图像与背景图像B(x,y)进行差分,获得二值图像序列;设置阈值ε以检测步态运动区域,其计算公式表达为:
[0061]
[0062] 其中ε为设定的阈值,Rt(x,y)为第t帧的二值图像,其中1表示步态运动区域,0表示背景;如图3(c)所示,为本发明实施例中二值图像。
[0063] 1‑1‑3.形态学处理;
[0064] 由于图像中通常包含一些由影子、光照等原因造成的非背景噪声点,二值化图像可能会出现空洞、噪声以及边缘毛刺等问题,可以采用膨胀、腐蚀和区域填充的方式对二值图像进行形态学处理;膨胀是将与目标物体相连的背景像素合并到目标中,使目标的边界向外部扩张。腐蚀运算可以使图像中的目标“收缩”或“细化”,主要用来消除一些小而无意义的目标物。区域填充主要是用来填充可能出现的空洞。
[0065] 1‑1‑4、连通区域分析;
[0066] 连通区域分析能够有效去除较大的噪声区域,对经过形态学处理的二值图像运用连通区域分析方法获得连通的运动目标区域图像;如图3(d)所示,为本发明实施例中连通的运动目标区域。
[0067] 1‑1‑5、检测运动目标区域
[0068] 使用Canny算子检测运动目标区域,获得步态运动目标轮廓序列。Canny算子是一种比较新的边缘检测算子,具有很好的边缘检测性能,不容易受噪声干扰,能够检测到真正的弱边缘。
[0069] 1‑2.图像标准化;
[0070] 为了降低复杂性,以及消除由摄像机焦距变化带来的人体侧影大小不统一的影响,对二值图像序列的每一帧进行标准化,使二值图像序列中的所有帧统一变为160*80像素的大小。
[0071] 1‑2‑1.提取二值图像序列中每一帧的运动目标图像,获取运动目标图像序列;同时提取步态运动目标轮廓序列。
[0072] 1‑2‑2.将运动目标图像序列与步态运动目标轮廓序列中的冗余帧图像与干扰帧图像去除;
[0073] 1‑2‑3.将运动目标图像序列中和步态运动目标轮廓序列的有效帧图像变为160*80像素标准大小。在本发明实施例中得到的160*80像素大小的运动目标图像中的有效帧如图4(a)所示。在本发明实施例中得到的步态运动目标轮廓序列中的有效帧如图4(b)所示。
[0074] 步骤2.特征提取;
[0075] 所述特征提取,用于获得具有良好表征性的步态特征参数,包括以下步骤:
[0076] 2‑1.提取步态周期;
[0077] 从步态视频序列中可以看出,步态是周期性的时变数据,一个步态周期可以定义为同一只脚前后两次着地的时间间隔,也就是指从双腿并拢到迈开一条腿,再经过一次双腿并拢到迈开另一条腿,直到再一次双腿并拢的过程。人在行走过程中,轮廓的高度和宽度的变化呈现一定的周期性。当双腿并拢时,步态的高度最大,宽度最小;当双腿分开时,步态高度最小,宽度则最大。因此本文采用计算运动目标序列中的宽高比对人体步态进行分析,得到步态周期,最终得到完整的步态周期图像序列。
[0078] 2‑1‑1.计算运动目标图像序列的有效帧中运动目标的宽高比;
[0079] 2‑1‑2.获取运动目标图像序列的周期与关键帧;在本发明实施例中得到运动目标图像序列的周期与关键帧如图5所示。其中两个完整的波峰为一个步态周期,极大值与极小值点为关键帧位置。
[0080] 通过运动目标图像中步态区域的宽高比,对步态视频序列进行分析,获得步态周期,进而得到完整的步态周期图像序列。
[0081] 2‑2.提取区域熵特征;
[0082] 数字图像由像素点组成,每一格像素的出现的灰度值是随机的,每一个像素出现的概率是相互独立的。使图像表现出不同的形状,而不同形状的图像所包含的信息量不同。对于一幅数字图像,不同灰度的像素点出现的概率pi表示为:
[0083]
[0084]
[0085] 其中f表示图像像素点的灰度值集合,i表示灰度级数。f(i)表示的是一个数字图像中某一灰度级数在该数字图像的所有像素点中出现的次数。
[0086] 图像熵,即数字图像的灰度熵,它能够反映图像的紊乱程度。由于不同像素点出现的概率可以看作是概率分布的一个例子,所以图像熵符合信息熵理论。因而图像熵H(f)可以表示为:
[0087]
[0088] f表示图像像素点的灰度值集合,i表示灰度级数。pi表示不同灰度的像素点出现的概率。
[0089] 对于一幅步态二值图像来说,尽管其灰度级数远少于普通灰度图像,但是我们可以将其视作特殊的灰度图,其图像熵的性质与提取方式普通灰度图是完全相同的。
[0090] 图像熵在数值上具有分散性,对于普通图像熵来说要进行归一化处理,但对于二值图像而言,由于灰度级实际上只有两级,图像熵的结果一定在0‑1之间,因而可以直接将得到的熵作为特征,免去了归一化的步骤,降低了计算量。
[0091] 为了进一步描述图像的细节信息与特征,可以结合人体结构和步态运动规律将步态周期图像序列中的步态图像划分为不同区域,求得每一块区域的图像熵。将每一帧步态图像的图像熵和6个子区域的图像熵集合成为一个七维图像熵特征,这里将其称为区域熵特征。
[0092] 根据人体关节点的位置将步态运动图像分别划分为头部、颈肩部、左躯干、右躯干、臀部,下肢部位。如图6所示,为本发明实施例的区域划分方式。
[0093] 以上六个区域在人体的运动过程中运动方式有所差别,有的摆动明显如躯干部位,有的活动剧烈如下肢部分,有的只有轻微的晃动如头部与臀部。因此它们之间存在不同的运动特性,在识别与分类过程中表现出细微的差异,采用分割区域的方式能够有效的增加可区分性。
[0094] 人体的步态是一个周期运动的过程,为了充分考虑到人在运动过程中的步态变化情况,将区域图像熵特征与步态周期相结合,提取步态周期序列中每一帧的区域熵特征,能够很好的体现步态的动态特征,同时避免对整个步态视频的序列提取特征,降低了计算量和复杂度。
[0095] 2‑2‑1.将步态周期图像序列中每一帧步态周期图像的运动目标区域划分为6个子区域;
[0096] 2‑2‑2.计算每一帧步态周期图像的图像熵,同时计算每一帧步态周期图像与其对应的各个子区域的图像熵;
[0097] 2‑2‑3.将每一帧步态周期图像的图像熵和6个子区域的图像熵集合成为一个七维图像熵特征,即区域熵特征。
[0098] 如图7所示,为同一对象的不同的步态视频序列的区域熵特征曲线。从图中可以看出同一对象的不同步态视频序列的区域熵特征是非常相近的,同一运动目标不同步态序列的特征曲线波动幅度很小,整体上非常接近。
[0099] 如图8所示,为不同对象的步态视频序列的区域熵特征曲线。通过两条特征曲线,可以看出不同对象的步态序列区域熵特征之间有很大的差别,不同对象的特征曲线波动很剧烈,差异性十分明显。
[0100] 图7与图8的对比进一步证明了用步态区域熵特征描绘人体步态的运动特性是行之有效的。
[0101] 步骤3所述的采用最近邻准则分类识别,具体实现如下:
[0102] 以图像熵特征作为类匹配模板计算欧氏距离,选取最近的样本区域图像熵所属的类作为归属类,即选取欧氏距离最小的一类作为归属类;
[0103] 假定共有c个类别:w1,w2,…,wc,每个类别中有训练样本Ni个,i=1,2,…,c;wi类的判别函数表示为:
[0104]
[0105] 其中 中i表示第wi类,k表示wi类中训练样本Ni中的第k个样本;决策规则为:若gj(x)=mingi(x),i=1,2,...,c;则分类结果为:x∈wj。
[0106] 为了进一步了解本发明的优点,使用中国科学院CASIA步态数据库验证了本发明实施例的步态识别方法的识别性能。通过验证结果,本发明的和/或附加的方面和优点将变得更加明显和容易理解。
[0107] 从中国科学院自动化所的CASIA DatasetB步态数据库中,随机抽取其中30个人,其中每个人有6个图像序列,每个视频序列约包含2‑3个步态周期,这些彩色视频序列的帧率是25帧/s,图像尺寸为320x 240像素,长度也都在100帧左右。
[0108] 在上述步态数据库中,在侧面视角的状态下进行实验,采用最近邻分类器,获得了96.2%的识别率。由上述识别结果可以看出,本发明的立体步态特征具有很好的表征性。其原因在于步态区域熵特征是一种统计特性,能够很好的表现步态运动图像的全局和细节信息,同时与步态周期相结合一定程度上诠释了动态特征,本发明能够很好的将整体与细节特征,静态与动态特征结合,实现了不同特征之间优势互补,特征包括的比较完整,因此取得了较高的识别率。
[0109] 通过本发明能够有效地提高步态身份认证的识别率,可以应用于各种场合的视觉监控系统。
[0110] 尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同限定。

附图说明

[0043] 图1为本发明实施例的步态识别方法的流程图;
[0044] 图2为本发明实施例的运动目标轮廓提取的流程图;
[0045] 图3(a)、图3(b)、图3(c)、图3(d)均为本发明实施例的背景建模与形态学处理结果示意图;
[0046] 图4(a)和图4(b)均为本发明实施例的运动目标轮廓提取的结果示意图;
[0047] 图5为本发明实施例的步态周期示意图;
[0048] 图6为本发明实施例的步态二值图像划分示意图;
[0049] 图7为本发明实施例的同一对象区域熵特征效果对比图;
[0050] 图8为本发明实施例的不同对象区域熵特征效果对比图;
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号