[0051] 为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白,以下结合附图和实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
[0052] 如图1所示,为本发明实施例的步态识别方法的流程图,包括以下步骤:
[0053] 步骤1.预处理;
[0054] 所述预处理,用于获取标准统一大小的运动目标轮廓序列,包括以下步骤:
[0055] 1‑1.提取运动目标轮廓序列;
[0056] 目前常用的运动目标检测方法包括背景减除法、时间差分法、运动能量检测法和光流法等。背景减除法具有实现简单,运算速度快,在大多数情况下检测结果较好的突出优点。因此采用背景减除法步态运动区域。
[0057] 如图2所示,为本发明实施例的运动目标轮廓提取流程图,包括以下步骤:
[0058] 1‑1‑1.利用中值滤波的方法对步态视频序列重建背景图像;
[0059] 设I是一个包含N帧的步态视频序列,It表示步态视频序列中的第t幅图像;则背景图像B(x,y)表达为: 图3(a)所示,为本发明实施例中步态视频序列中其中的一帧灰度图,如图3(b)所示,为本发明实施例中重建的背景图像。
[0060] 1‑1‑2.利用当前视频帧图像与背景图像B(x,y)进行差分,获得二值图像序列;设置阈值ε以检测步态运动区域,其计算公式表达为:
[0061]
[0062] 其中ε为设定的阈值,Rt(x,y)为第t帧的二值图像,其中1表示步态运动区域,0表示背景;如图3(c)所示,为本发明实施例中二值图像。
[0063] 1‑1‑3.形态学处理;
[0064] 由于图像中通常包含一些由影子、光照等原因造成的非背景噪声点,二值化图像可能会出现空洞、噪声以及边缘毛刺等问题,可以采用膨胀、腐蚀和区域填充的方式对二值图像进行形态学处理;膨胀是将与目标物体相连的背景像素合并到目标中,使目标的边界向外部扩张。腐蚀运算可以使图像中的目标“收缩”或“细化”,主要用来消除一些小而无意义的目标物。区域填充主要是用来填充可能出现的空洞。
[0065] 1‑1‑4、连通区域分析;
[0066] 连通区域分析能够有效去除较大的噪声区域,对经过形态学处理的二值图像运用连通区域分析方法获得连通的运动目标区域图像;如图3(d)所示,为本发明实施例中连通的运动目标区域。
[0067] 1‑1‑5、检测运动目标区域
[0068] 使用Canny算子检测运动目标区域,获得步态运动目标轮廓序列。Canny算子是一种比较新的边缘检测算子,具有很好的边缘检测性能,不容易受噪声干扰,能够检测到真正的弱边缘。
[0069] 1‑2.图像标准化;
[0070] 为了降低复杂性,以及消除由摄像机焦距变化带来的人体侧影大小不统一的影响,对二值图像序列的每一帧进行标准化,使二值图像序列中的所有帧统一变为160*80像素的大小。
[0071] 1‑2‑1.提取二值图像序列中每一帧的运动目标图像,获取运动目标图像序列;同时提取步态运动目标轮廓序列。
[0072] 1‑2‑2.将运动目标图像序列与步态运动目标轮廓序列中的冗余帧图像与干扰帧图像去除;
[0073] 1‑2‑3.将运动目标图像序列中和步态运动目标轮廓序列的有效帧图像变为160*80像素标准大小。在本发明实施例中得到的160*80像素大小的运动目标图像中的有效帧如图4(a)所示。在本发明实施例中得到的步态运动目标轮廓序列中的有效帧如图4(b)所示。
[0074] 步骤2.特征提取;
[0075] 所述特征提取,用于获得具有良好表征性的步态特征参数,包括以下步骤:
[0076] 2‑1.提取步态周期;
[0077] 从步态视频序列中可以看出,步态是周期性的时变数据,一个步态周期可以定义为同一只脚前后两次着地的时间间隔,也就是指从双腿并拢到迈开一条腿,再经过一次双腿并拢到迈开另一条腿,直到再一次双腿并拢的过程。人在行走过程中,轮廓的高度和宽度的变化呈现一定的周期性。当双腿并拢时,步态的高度最大,宽度最小;当双腿分开时,步态高度最小,宽度则最大。因此本文采用计算运动目标序列中的宽高比对人体步态进行分析,得到步态周期,最终得到完整的步态周期图像序列。
[0078] 2‑1‑1.计算运动目标图像序列的有效帧中运动目标的宽高比;
[0079] 2‑1‑2.获取运动目标图像序列的周期与关键帧;在本发明实施例中得到运动目标图像序列的周期与关键帧如图5所示。其中两个完整的波峰为一个步态周期,极大值与极小值点为关键帧位置。
[0080] 通过运动目标图像中步态区域的宽高比,对步态视频序列进行分析,获得步态周期,进而得到完整的步态周期图像序列。
[0081] 2‑2.提取区域熵特征;
[0082] 数字图像由像素点组成,每一格像素的出现的灰度值是随机的,每一个像素出现的概率是相互独立的。使图像表现出不同的形状,而不同形状的图像所包含的信息量不同。对于一幅数字图像,不同灰度的像素点出现的概率pi表示为:
[0083]
[0084]
[0085] 其中f表示图像像素点的灰度值集合,i表示灰度级数。f(i)表示的是一个数字图像中某一灰度级数在该数字图像的所有像素点中出现的次数。
[0086] 图像熵,即数字图像的灰度熵,它能够反映图像的紊乱程度。由于不同像素点出现的概率可以看作是概率分布的一个例子,所以图像熵符合信息熵理论。因而图像熵H(f)可以表示为:
[0087]
[0088] f表示图像像素点的灰度值集合,i表示灰度级数。pi表示不同灰度的像素点出现的概率。
[0089] 对于一幅步态二值图像来说,尽管其灰度级数远少于普通灰度图像,但是我们可以将其视作特殊的灰度图,其图像熵的性质与提取方式普通灰度图是完全相同的。
[0090] 图像熵在数值上具有分散性,对于普通图像熵来说要进行归一化处理,但对于二值图像而言,由于灰度级实际上只有两级,图像熵的结果一定在0‑1之间,因而可以直接将得到的熵作为特征,免去了归一化的步骤,降低了计算量。
[0091] 为了进一步描述图像的细节信息与特征,可以结合人体结构和步态运动规律将步态周期图像序列中的步态图像划分为不同区域,求得每一块区域的图像熵。将每一帧步态图像的图像熵和6个子区域的图像熵集合成为一个七维图像熵特征,这里将其称为区域熵特征。
[0092] 根据人体关节点的位置将步态运动图像分别划分为头部、颈肩部、左躯干、右躯干、臀部,下肢部位。如图6所示,为本发明实施例的区域划分方式。
[0093] 以上六个区域在人体的运动过程中运动方式有所差别,有的摆动明显如躯干部位,有的活动剧烈如下肢部分,有的只有轻微的晃动如头部与臀部。因此它们之间存在不同的运动特性,在识别与分类过程中表现出细微的差异,采用分割区域的方式能够有效的增加可区分性。
[0094] 人体的步态是一个周期运动的过程,为了充分考虑到人在运动过程中的步态变化情况,将区域图像熵特征与步态周期相结合,提取步态周期序列中每一帧的区域熵特征,能够很好的体现步态的动态特征,同时避免对整个步态视频的序列提取特征,降低了计算量和复杂度。
[0095] 2‑2‑1.将步态周期图像序列中每一帧步态周期图像的运动目标区域划分为6个子区域;
[0096] 2‑2‑2.计算每一帧步态周期图像的图像熵,同时计算每一帧步态周期图像与其对应的各个子区域的图像熵;
[0097] 2‑2‑3.将每一帧步态周期图像的图像熵和6个子区域的图像熵集合成为一个七维图像熵特征,即区域熵特征。
[0098] 如图7所示,为同一对象的不同的步态视频序列的区域熵特征曲线。从图中可以看出同一对象的不同步态视频序列的区域熵特征是非常相近的,同一运动目标不同步态序列的特征曲线波动幅度很小,整体上非常接近。
[0099] 如图8所示,为不同对象的步态视频序列的区域熵特征曲线。通过两条特征曲线,可以看出不同对象的步态序列区域熵特征之间有很大的差别,不同对象的特征曲线波动很剧烈,差异性十分明显。
[0100] 图7与图8的对比进一步证明了用步态区域熵特征描绘人体步态的运动特性是行之有效的。
[0101] 步骤3所述的采用最近邻准则分类识别,具体实现如下:
[0102] 以图像熵特征作为类匹配模板计算欧氏距离,选取最近的样本区域图像熵所属的类作为归属类,即选取欧氏距离最小的一类作为归属类;
[0103] 假定共有c个类别:w1,w2,…,wc,每个类别中有训练样本Ni个,i=1,2,…,c;wi类的判别函数表示为:
[0104]
[0105] 其中 中i表示第wi类,k表示wi类中训练样本Ni中的第k个样本;决策规则为:若gj(x)=mingi(x),i=1,2,...,c;则分类结果为:x∈wj。
[0106] 为了进一步了解本发明的优点,使用中国科学院CASIA步态数据库验证了本发明实施例的步态识别方法的识别性能。通过验证结果,本发明的和/或附加的方面和优点将变得更加明显和容易理解。
[0107] 从中国科学院自动化所的CASIA DatasetB步态数据库中,随机抽取其中30个人,其中每个人有6个图像序列,每个视频序列约包含2‑3个步态周期,这些彩色视频序列的帧率是25帧/s,图像尺寸为320x 240像素,长度也都在100帧左右。
[0108] 在上述步态数据库中,在侧面视角的状态下进行实验,采用最近邻分类器,获得了96.2%的识别率。由上述识别结果可以看出,本发明的立体步态特征具有很好的表征性。其原因在于步态区域熵特征是一种统计特性,能够很好的表现步态运动图像的全局和细节信息,同时与步态周期相结合一定程度上诠释了动态特征,本发明能够很好的将整体与细节特征,静态与动态特征结合,实现了不同特征之间优势互补,特征包括的比较完整,因此取得了较高的识别率。
[0109] 通过本发明能够有效地提高步态身份认证的识别率,可以应用于各种场合的视觉监控系统。
[0110] 尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同限定。