首页 > 专利 > 杭州电子科技大学 > 面向监控场景的在线低秩异常视频事件检测方法专利详情

面向监控场景的在线低秩异常视频事件检测方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2016-09-11
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2017-03-08
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2019-04-26
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2036-09-11
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201610814106.4 申请日 2016-09-11
公开/公告号 CN106384092B 公开/公告日 2019-04-26
授权日 2019-04-26 预估到期日 2036-09-11
申请年 2016年 公开/公告年 2019年
缴费截止日
分类号 G06K9/00 主分类号 G06K9/00
是否联合申请 独立申请 文献类型号 B
独权数量 3 从权数量 0
权利要求数量 3 非专利引证数量 1
引用专利数量 3 被引证专利数量 0
非专利引证 1、Ping Li 等.Towards robust subspacerecovery via sparsity-constrained latentlow-rank representation《.Journal ofVisual Communication and ImageRepresentation》.2015,第37卷第46-52页. Yang Xu 等.Anomaly Detection inHyperspectral Images Based on Low-Rankand Sparse Representation《.IEEETransactions on Geoscience and RemoteSensing》.2015,第54卷(第4期),第1900-2000页. 何聪芹 等.基于HOG3D描述器与稀疏编码的异常行为检测方法《.华东理工大学学报(自然科学版)》.2016,第42卷(第1期),第110-118页.;
引用专利 CN105335653A、CN105427300A、CN103023927A 被引证专利
专利权维持 6 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 李平、徐向华、王然 第一发明人 李平
地址 浙江省杭州市下沙高教园区2号大街 邮编 310018
申请人数量 1 发明人数量 3
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州奥创知识产权代理有限公司 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
王佳健
摘要
本发明公开了一种面向监控场景的在线低秩异常视频事件检测方法。本发明对给定场景下的监控视频集合进行如下操作:1)将监控视频分为训练视频和测试视频两部分,对各视频帧提取低层视觉特征,形成相应的向量化表示;2)通过在线稀疏低秩表示方法,对训练视频运用迭代梯度映射规则和随机优化准则进行逐帧学习,获得更新的权重矩阵和稀疏系数矩阵,构建异常视频事件检测模型;3)对测试视频帧计算归一化重构误差,若误差大于设定阈值,则判断该帧存在异常事件,照此逐帧判断,直至视频结束。本发明从低秩分解和稀疏表示的角度对监控场景下的视频进行帧编码和重构,能够逐帧在线判断异常视频事件,提高了监控视频异常检测的效率和精度。
  • 摘要附图
    面向监控场景的在线低秩异常视频事件检测方法
  • 说明书附图:图1
    面向监控场景的在线低秩异常视频事件检测方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2019-04-26 授权
2 2017-03-08 实质审查的生效 IPC(主分类): G06K 9/00 专利申请号: 201610814106.4 申请日: 2016.09.11
3 2017-02-08 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.面向监控场景的在线低秩异常视频事件检测方法,其特征在于对给定场景下的监控视频集合,进行如下操作:
1)将监控视频分为训练视频和测试视频两部分,其中训练视频由选定的正常视频组成,并对各视频帧提取低层视觉特征,形成相应的向量化表示;
2)通过在线稀疏低秩表示方法,对训练视频运用迭代梯度映射规则和随机优化准则进行逐帧学习,获得更新的权重矩阵和稀疏系数矩阵,构建异常视频事件检测模型;
3)对测试视频帧计算归一化重构误差,若误差大于设定阈值,则判断该帧存在异常事件,照此逐帧判断,直至视频结束;
所述的步骤1)中的对各视频帧提取低层视觉特征,形成相应的向量化表示,具体是:
1.1)对每个视频帧提取三种低层视觉特征,即尺度不变特征变换、局部二值模式和梯度直方图,刻画帧图像中的全局和局部结构,将提取的三种特征合并成m维的列向量
1.2)对n帧训练视频图像形成向量化表示矩阵 对s帧测试视频
图像形成向量化表示矩阵 其中训练视频帧的表示矩阵X作为异常事
件检测模型的字典;
所述的步骤2)中的通过在线稀疏低秩表示方法,对训练视频运用迭代梯度映射规则和随机优化准则进行逐帧学习,获得更新的权重矩阵和稀疏系数矩阵,构建异常视频事件检测模型,具体是:
2.1)将训练视频的表示矩阵X分解为两部分,即X=XWV+E:前部分为由字典X与权重矩阵W构线性重构得到的p维基矩阵 与低维系数矩阵 的乘积矩阵,后部
分为噪声矩阵 其中p<<min(m,n),即基矩阵和系数矩阵的维度远小于m和n的最小值,每个m维训练帧x对应的p维系数向量表示为v,对应的m维噪声向量为e;
2.2)在线系数低秩表示方法是指对权重矩阵W添加Frobenius范数||·||F,对系数矩阵V同时添加Frobenius范数||·||F和l1范数||·||1使其具有稀疏特性,对噪声矩阵E添加l1范数,在上述范数的约束条件下最小化X与(XWV+E)之间的均方误差,其目标函数为其中,常数λ1>0,λ2>0;
2.3)对训练视频运用迭代梯度映射规则和随机优化准则进行逐帧学习,获得更新的权重矩阵W和稀疏系数矩阵V是指在t(t=0,1,…,n)轮迭代的情形下,先初始化权重矩阵W0、稀疏系数矩阵V0、噪声矩阵E0为全0矩阵,并引入辅助矩阵 和 也初始化为全0矩阵,下标代表迭代轮数,其迭代的具体步骤如下:
a)从训练视频帧集合中随机选一帧xt进行模型构建;
b)在第t轮迭代,固定权重矩阵和噪声向量,通过求解下式获得该轮迭代的系数向量vt,即
其中符号||·||2表示向量的l2范数;
c)在第t轮迭代,固定权重矩阵和系数向量,通过求解下式获得该轮迭代的噪声向量et,即
d)通过下式更新两个辅助矩阵,即
T
其中符号(·) 表示向量或矩阵的转置;
e)利用迭代梯度映射规则更新权重矩阵W,即对矩阵的列向量计算梯度,并通过映射得到每个列向量的新表示;
f)重复上述步骤,直到训练视频帧集合变为空集,并得到通过n次迭代更新的权重矩阵W和稀疏系数矩阵V;
2.4)构建异常视频事件检测模型是指对待检测的视频帧xtest进行步骤2.3)中的b)和c)操作后,得到对应的系数向量vtest和噪声向量etest,然后计算两个重构误差值fv和fe,即至此异常视频事件检测模型构建完成。

2.如权利要求1所述的面向监控场景的在线低秩异常视频事件检测方法,其特征在于:
所述的步骤3)中的对测试视频帧计算归一化重构误差,若误差大于设定阈值,则判断该帧存在异常事件,照此逐帧判断,具体是:
3.1)对测试视频帧计算归一化重构误差 若重构误差err大于设定的
正常数阈值Θ,则判断该视频帧存在异常事件;
3.2)对所有的测试视频帧依次逐帧重复步骤3.1),即可判断所有测试视频中的异常事件。
说明书

技术领域

[0001] 本发明属于视频分析技术领域,特别是面向监控场景的在线低秩异常视频事件检测方法。

背景技术

[0002] 近些年来,通过各类视频采集设备,特别是监控设备获得的数据呈现指数级增长,这些数据被广泛应用于保障普通民众的居住安全、工作安全、交通安全,政府层面的重要设施的维护、重点机关单位的保护,乃至国家层面的国防军事监控安全等。因此,对不同监控场景下的视频数据分析与挖掘,尤其是异常事件的检测显得非常迫切,学术界和工业界对此开展了许多研究。由于监控场景的光线经常变化、目标运动轨迹不同以及外来扰动等因素,使得监控视频不但具有非结构化、规模大的特征,而且还存在运动特征不明晰、各类噪声干扰多等特点,给异常视频事件的检测带来很大困难。
[0003] 传统的异常视频事件检测方法存在一些问题,例如仅解决某个场景下特定的异常类型(交通变道、违章停车、物品遗落),无法实时检测异常事件等。因此,出现了适用于某个场景下多种异常事件检测的方法,例如简单有效的帧差法、稀疏重构方法,但是这些方法并未考虑到视频帧间存在的低秩特性,因而不能很好地表征视频数据在低维空间的结构特征。

发明内容

[0004] 为了实时地对监控场景下的异常视频事件进行检测,从低秩分解和稀疏表示的角度对监控场景下的视频进行帧编码和重构,本发明提出了一种面向监控场景的在线低秩异常视频事件检测方法,该方法包括以下步骤:
[0005] 1、获取给定场景下的监控视频集合后,进行如下操作:
[0006] 1)将监控视频分为训练视频和测试视频两部分,其中训练视频由选定的正常视频组成,并对各视频帧提取低层视觉特征,形成相应的向量化表示。
[0007] 2)通过在线稀疏低秩表示方法,对训练视频运用迭代梯度映射规则和随机优化准则进行逐帧学习,获得更新的权重矩阵和稀疏系数矩阵,构建异常视频事件检测模型。
[0008] 3)对测试视频帧计算归一化重构误差,若误差大于设定阈值,则判断该帧存在异常事件,照此逐帧判断,直至视频结束。
[0009] 进一步,所述的步骤1)中的对各视频帧提取低层视觉特征,形成相应的向量化表示,具体是:
[0010] 1.1)对每个视频帧提取三种低层视觉特征,即尺度不变特征变换(SIFT)、局部二值模式(LBP)、梯度直方图(HOG),刻画帧图像中的全局和局部结构,将提取的三种特征合并成m维的列向量
[0011] 1.2)对n帧训练视频图像形成向量化表示矩阵 对s帧测试视频图像形成向量化表示矩阵 其中训练视频帧的表示矩阵X作为异
常事件检测模型的字典。
[0012] 进一步,所述的步骤2)中的通过在线稀疏低秩表示方法,对训练视频运用迭代梯度映射规则和随机优化准则进行逐帧学习,获得更新的权重矩阵和稀疏系数矩阵,构建异常视频事件检测模型,具体是:
[0013] 2.1)将训练视频的表示矩阵X分解为两部分,即X=XWV+E:前部分为由字典X与权重矩阵W构线性重构得到的p维基矩阵 与低维系数矩阵 的乘积矩阵,后部分为噪声矩阵 其中p<<min(m,n),即基矩阵和系数矩阵的维度远小于m和n的最小值,每个m维训练帧x对应的p维系数向量表示为v,对应的m维噪声向量为e。
[0014] 2.2)在线系数低秩表示方法是指对权重矩阵W添加Frobenius范数||·||F,对系数矩阵V同时添加Frobenius范数||·||F和l1范数||·||1使其具有稀疏特性,对噪声矩阵E添加l1范数,在上述范数的约束条件下最小化X与(XWV+E)之间的均方误差,其目标函数为[0015]
[0016] 其中,常数λ1>0,λ2>0。
[0017] 2.3)对训练视频运用迭代梯度映射规则和随机优化准则进行逐帧学习,获得更新的权重矩阵W和稀疏系数矩阵V是指在t(t=0,1,...,n)轮迭代的情形下,先初始化权重矩阵W0、稀疏系数矩阵V0、噪声矩阵E0为全0矩阵,并引入辅助矩阵 和 也初始化为全0矩阵,下标代表迭代轮数,其迭代的具体步骤如下:
[0018] a)从训练视频帧集合中随机选一帧xt进行模型构建。
[0019] b)在第t轮迭代,固定权重矩阵和噪声向量,通过求解下式获得该轮迭代的系数向量vt,即
[0020]
[0021] 其中符号||·||2表示向量的l2范数。
[0022] c)在第t轮迭代,固定权重矩阵和系数向量,通过求解下式获得该轮迭代的噪声向量et,即
[0023]
[0024] d)通过下式更新两个辅助矩阵,即
[0025]
[0026] 其中符号(·)T表示向量或矩阵的转置。
[0027] e)利用迭代梯度映射规则更新权重矩阵W,即对矩阵的列向量计算梯度,并通过映射得到每个列向量的新表示。
[0028] f)重复上述步骤,直到训练视频帧集合变为空集,并得到通过n次迭代更新的权重矩阵W和稀疏系数矩阵V。
[0029] 2.4)构建异常视频事件检测模型是指对待检测的视频帧xtest进行步骤2.3)中的b)和c)操作后,可得到对应的系数向量vtest和噪声向量etest,然后计算两个重构误差值fv和fe,即
[0030]
[0031]
[0032] 至此异常视频事件检测模型构建完成。
[0033] 所述的步骤3)中的对测试视频帧计算归一化重构误差,若误差大于设定阈值,则判断该帧存在异常事件,照此逐帧判断,具体是:
[0034] 3.1)对测试视频帧计算归一化重构误差 若重构误差err大于设定的正常数阈值Θ,则判断该视频帧存在异常事件。
[0035] 3.2)对所有的测试视频帧依次逐帧重复步骤3.1),即可判断所有测试视频中的异常事件。
[0036] 本发明提出了面向监控场景的在线低秩异常视频事件检测方法,其优点在于能够对监控场景下的视频从低秩分解和稀疏表示的角度进行视频帧编码和数据重构,可以逐帧实时地判断视频中是否出现异常事件,提高了监控视频异常事件判断的准确度以及效率,为公共交通、重点机关单位、国防军事要地的安防监控等特定场景提供了良好的技术支持。

实施方案

[0038] 以下结合附图对本发明作进一步说明。
[0039] 本发明提出一种面向监控场景的在线异常视频事件检测方法,不但考虑视频数据的稀疏结构,还考虑数据的低秩结构。主要思想是引入重构误差机制,用正常的视频数据迭代训练词典和基矩阵,然后对新的视频帧逐帧检测重构误差是否在合理值范围内。通过这种方式,可以实时地对源源不断的视频数据进行异常事件检测,参照附图1,进一步说明:
[0040] 1、获取给定场景下的监控视频集合后,进行以下操作:
[0041] 1)将监控视频分为训练视频和测试视频两部分,其中训练视频由选定的正常视频组成,并对各视频帧提取低层视觉特征,形成相应的向量化表示。
[0042] 2)通过在线稀疏低秩表示方法,对训练视频运用迭代梯度映射规则和随机优化准则进行逐帧学习,获得更新的权重矩阵和稀疏系数矩阵,构建异常视频事件检测模型。
[0043] 3)对测试视频帧计算归一化重构误差,若误差大于设定阈值,则判断该帧存在异常事件,照此逐帧判断,直至视频结束。
[0044] 步骤1)中所述的对各视频帧提取低层视觉特征,形成相应的向量化表示,具体是:
[0045] 1.1)对每个视频帧提取三种低层视觉特征,即尺度不变特征变换(SIFT)、局部二值模式(LBP)、梯度直方图(HOG),刻画帧图像中的全局和局部结构,将提取的三种特征合并成m维的列向量
[0046] 1.2)对n帧训练视频图像形成向量化表示矩阵 对s帧测试视频图像形成向量化表示矩阵 其中训练视频帧的表示矩阵X作为异
常事件检测模型的字典。
[0047] 步骤2)中的通过在线稀疏低秩表示方法,对训练视频运用迭代梯度映射规则和随机优化准则进行逐帧学习,获得更新的权重矩阵和稀疏系数矩阵,构建异常视频事件检测模型,具体是:
[0048] 2.1)将训练视频的表示矩阵X分解为两部分,即X=XWV+E:前部分为由字典X与权重矩阵W构线性重构得到的p维基矩阵 与低维系数矩阵 的乘积矩阵,后部分为噪声矩阵 其中p<<min(m,n),即基矩阵和系数矩阵的维度远小于m和n的最小值,每个m维训练帧x对应的p维系数向量表示为v,对应的m维噪声向量为e。
[0049] 2.2)在线系数低秩表示方法是指对权重矩阵W添加Frobenius范数||·||F,对系数矩阵V同时添加Frobenius范数||·||F和l1范数||·||1使其具有稀疏特性,对噪声矩阵E添加l1范数,在上述范数的约束条件下最小化X与(XWV+E)之间的均方误差,其目标函数为[0050]
[0051] 其中,常数λ1>0,λ2>0;
[0052] 2.3)对训练视频运用迭代梯度映射规则和随机优化准则进行逐帧学习,获得更新的权重矩阵W和稀疏系数矩阵V是指在t(t=0,1,...,n)轮迭代的情形下,先初始化权重矩阵W0、稀疏系数矩阵V0、噪声矩阵E0为全0矩阵,并引入辅助矩阵 和 也初始化为全0矩阵,下标代表迭代轮数,其迭代的具体步骤如下:
[0053] a)从训练视频帧集合中随机选一帧xt进行模型构建。
[0054] b)在第t轮迭代,固定权重矩阵和噪声向量,通过求解下式获得该轮迭代的系数向量vt,即
[0055]
[0056] 其中符号||·||2表示向量的l2范数。
[0057] c)在第t轮迭代,固定权重矩阵和系数向量,通过求解下式获得该轮迭代的噪声向量et,即
[0058]
[0059] d)通过下式更新两个辅助矩阵,即
[0060]
[0061] 其中符号(·)T表示向量或矩阵的转置。
[0062] e)利用迭代梯度映射规则更新权重矩阵W,即对矩阵的列向量计算梯度,并通过映射得到每个列向量的新表示。
[0063] f)重复上述步骤,直到训练视频帧集合变为空集,并得到通过n次迭代更新的权重矩阵W和稀疏系数矩阵V。
[0064] 2.4)构建异常视频事件检测模型是指对待检测的视频帧xtest进行步骤2.3)中的b)和c)操作后,可得到对应的系数向量vtest和噪声向量etest,然后计算两个重构误差值fv和fe,即
[0065]
[0066]
[0067] 至此异常视频事件检测模型构建完成。
[0068] 步骤3)中的对测试视频帧计算归一化重构误差,若误差大于设定阈值,则判断该帧存在异常事件,照此逐帧判断,具体是:
[0069] 3.1)对测试视频帧计算归一化重构误差 若重构误差err大于设定的正常数阈值Θ,则判断该视频帧存在异常事件。
[0070] 3.2)对所有的测试视频帧依次逐帧重复步骤3.1),即可判断所有测试视频中的异常事件。
[0071] 本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

附图说明

[0037] 图1是本发明的方法流程图。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号