首页 > 专利 > 杭州电子科技大学 > 一种基于HEVC的运动目标检测和跟踪方法专利详情

一种基于HEVC的运动目标检测和跟踪方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2018-03-26
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2018-11-23
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2021-11-02
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2038-03-26
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201810252619.X 申请日 2018-03-26
公开/公告号 CN108717703B 公开/公告日 2021-11-02
授权日 2021-11-02 预估到期日 2038-03-26
申请年 2018年 公开/公告年 2021年
缴费截止日
分类号 G06T7/223G06T7/207G06T7/246 主分类号 G06T7/223
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 3
权利要求数量 4 非专利引证数量 1
引用专利数量 0 被引证专利数量 0
非专利引证 1、CN 103607590 A,2014.02.26CN 104113754 A,2014.10.22尹烁.基于HEVC压缩域的车辆行为事件检测研究《.中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》.2018,第17-41页. Johan De Praeter et al..Moving ObjectDetection in the HEVC Compressed Domainfor Ultra-High-Resolution InteractiveVideo《.2017 IEEE International Conferenceon Consumer Electronics》.2017,第2-3页. Liang Zhao et al..Real-Time MovingObject Segmentation and ClassificationFrom HEVC Compressed Surveillance Video. 《IEEE TRANSACTIONS ON CIRCUITS ANDSYSTEMS FOR VIDEO TECHNOLOGY》.2016,第1346-1357页. Huang LI et al..A RAPID ABNORMALEVENT DETECTION METHOD FOR SURVEILLANCEVIDEO BASED ON A NOVEL FEATURE INCOMPRESSED DOMAIN OF HEVC《.2014 IEEEInternational Conference on Multimediaand Expo》.2014,第3-8页.;
引用专利 被引证专利
专利权维持 4 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 姚英彪、杨旭、姜显扬、刘兆霆、刘晴、许晓荣 第一发明人 姚英彪
地址 浙江省杭州市经济技术开发区白杨街道2号大街1158号 邮编 310018
申请人数量 1 发明人数量 6
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
浙江千克知识产权代理有限公司 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
周希良、李欣玮
摘要
本发明公开了一种基于HEVC的运动目标检测和跟踪方法。该方法包括如下步骤:步骤1:从HEVC码流中提取当前帧编码视频的编码单元结构、运动矢量及预测模式;步骤2:编码块尺寸归一化;步骤3:确定运动宏块;步骤4:计算运动宏块的运动矢量权重;步骤5:运动目标检测;步骤6:运动目标分类;步骤7:运动目标跟踪。本发明利用HEVC编解码过程中产生的运动矢量、编码单元划分方式、预测模式等信息进行运动目标检测与跟踪,避免不必要的数字图像处理过程,从而减少计算的复杂度,而且在不破坏原有压缩视频数据的基础上进行快速的运动目标检测和跟踪。
  • 摘要附图
    一种基于HEVC的运动目标检测和跟踪方法
  • 说明书附图:图1
    一种基于HEVC的运动目标检测和跟踪方法
  • 说明书附图:图2
    一种基于HEVC的运动目标检测和跟踪方法
  • 说明书附图:图3
    一种基于HEVC的运动目标检测和跟踪方法
  • 说明书附图:图4
    一种基于HEVC的运动目标检测和跟踪方法
  • 说明书附图:图5
    一种基于HEVC的运动目标检测和跟踪方法
  • 说明书附图:图6
    一种基于HEVC的运动目标检测和跟踪方法
  • 说明书附图:图7
    一种基于HEVC的运动目标检测和跟踪方法
  • 说明书附图:图8
    一种基于HEVC的运动目标检测和跟踪方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2021-11-02 授权
2 2018-11-23 实质审查的生效 IPC(主分类): G06T 7/223 专利申请号: 201810252619.X 申请日: 2018.03.26
3 2018-10-30 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于HEVC的运动目标检测和跟踪方法,其特征在于,包括如下步骤:
步骤1:从HEVC码流中提取当前帧编码视频的编码单元结构、运动矢量及预测模式;
步骤2:编码块尺寸归一化;
步骤3:确定运动宏块;
步骤4:计算运动宏块的运动矢量权重;
步骤5:运动目标检测;
步骤6:运动目标分类;
步骤7:运动目标跟踪;
所述步骤2中的编码块为将大小为32×32的编码单元作为运动矢量处理的基本单位;
所述步骤3中的确定运动宏块的步骤为:
3.1确定编码块的大小为32×32后,定义运动矢量不为0的子编码单元为运动子宏块;
3.2根据阈值限定法判断运动子宏块是否为运动宏块;
所述步骤5中运动目标检测的步骤为:
根据运动矢量权重MVW值的大小,通过Otsu阈值法进行阈值选取,将运动宏块确定为运动目标或者非运动目标,具体算法如下:
假设将运动矢量权重范围划分为[0,L‑1],Totsu为阈值,其把图像分为运动目标块A和非运动目标块B,则A和B的概率分布为:
pi表示该运动矢量权重的概率;平均运动矢量权重分别为:
其中μ为全图的平均运动矢量权重,公式如下:
A和B的方差为:
2 2 2
σ=ωA(μA‑μ) +(1‑ωA)(μB‑μ)
使得该方差最大的即为阈值,即MVW>Totsu的运动宏块确定为运动目标块。

2.根据权利要求1所述的一种基于HEVC的运动目标检测和跟踪方法,其特征在于,所述步骤4中计算运动宏块的运动矢量权重MVW的公式如下:
其中,{MVi|i∈σ}表示一个编码块中运动矢量的集合,area(PUi)表示第i个PU的面积,x和y表示运动矢量的长和宽。

3.根据权利要求1所述的一种基于HEVC的运动目标检测和跟踪方法,其特征在于,所述步骤6中运动目标分类方法如下:采用支持向量机SVM进行分类汽车或行人;用训练集对SVM进行训练得到分类模型,再用得到的模型对测试集进行类别标签预测;每个样本包含5个特征分量:CU、PU、MV、MVW及预测模式;最终达到分类车辆和行人的目的。

4.根据权利要求1所述的一种基于HEVC的运动目标检测和跟踪方法,其特征在于,所述步骤7中运动目标跟踪的方法为:
7.1采用运动目标块匹配法对当前帧的每个运动目标块进行运动估计,预测每个块的运动矢量强度MVI,计算公式如下:
2
MVI=||MV||×32×32
7.2对于每一个运动目标块而言,从该块中提取出运动矢量,该运动目标块按该运动矢量移位到当前帧,预测当前帧运动目标块;运动估计公式如下:
Upred=Ucur‑(m‑n)*MV
其中,Upred表示预测运动目标块,Ucur表示当前运动目标块,m和n表示视频帧数;
7.3验证预测运动目标块的MVI是否与真实MVI近似,判断公式如下:
ε表示允许误差,验证成功表示跟踪成功。
说明书

技术领域

[0001] 本发明属于视频处理技术领域,尤其涉及一种基于HEVC的运动目标检测和跟踪方法。

背景技术

[0002] 面对道路交通事故发生频率不断增加的情况,世界各国科学家对现有的交通系统做了广泛而深入的研究,随后,智能交通系统作为解决方案被提出并且快速发展。目前,智能交通系统中的运动目标检测与跟踪主要指对道路中行驶的汽车和行人进行检测并跟踪其运动轨迹。
[0003] 运动目标检测主要是指将运动的目标从复杂的动态背景中分割出来,可以理解为分类问题,即将视频图像中的信息根据先验知识进行正确的分类从而达到目标识别的目的。运动目标跟踪主要是指对视频的每一帧均进行目标识别,从而实现对运动目标运动轨迹和姿态的连续获取。
[0004] 在智能交通系统领域,各种目标检测跟踪技术也在不断产生和发展,如声学检测、感应线圈检测、红外视频检测、微波检测和视频检测等。相比其他方式而言,基于视频的目标检测跟踪技术有提供参数多、投资费用低、安装维护时不需要中断交通、易于重现交通场景等优点。
[0005] 目前,较为经典的基于视频的运动目标检测与跟踪主要在像素域中进行,它一般首先分析出每个像素的纹理信息、运动信息以及像素的时空邻域信息,利用这些丰富的特征信息,同时借助于数字图像处理手段,在视频图像中寻找出感兴趣的运动目标。目前像素域中运动目标的检测技术主要有基于背景差分法、基于帧间差分法、基于光流法等方法,运动目标的跟踪技术主要有基于运动估计、基于均值漂移、基于模板匹配等方法。由于图像处理算法的一些自身因素,像素域方法面临一些瓶颈,在面对特殊情况下运动目标,其检测效果不甚理想,同时由于像素信息太多,它需要大量的计算时间和存储空间。
[0006] 近年来,随着数字视频压缩技术的不断发展,视频编解码格式标准从之前的MPEG逐渐过渡至主流的HEVC格式。HEVC格式是如今国际公认的视频编码标准之一,相比于H.264格式,其编码效率提高了一倍。HEVC的基础架构与H.264/AVC保持一致,但也引入了一些新技术,如改进的运动矢量预测、新的帧内预测模式:MERGE模式、帧间预测非对称运动划分、四叉树变换、基于DCT的亚像素滤波器、新的多参考帧管理方式、简化的去块滤波、新的环路滤波器SAO和高吞吐量的熵编码和内容自适应的二进制算术编码CABAC等。正是基于上述这些特点,目前越来越多的应用都在转向采用HEVC来取代H.264,HEVC已成为如今主流的视频编解码的标准。在如今很多实际应用中,视频源格式通常就是HEVC编码源格式。一段视频往往在编解码过程中就会产生出较为可靠的运动矢量(MV)、预测模式、DCT残差系数等信息,许多学者开始研究在视频编解码过程中直接利用这些信息提取运动目标,这与之前的像素域方法完全不同,称之为基于压缩域的运动目标检测跟踪方法。
[0007] HEVC编码器采用了编码树单元(CTU)、编码单元(CU)、预测单元(PU)、变换单元(TU)结构,使得HEVC能够对不同分辨率和应用环境的视频进行编码。HEVC编码时,一幅图像可以被划分为多个互不重叠的CTU,每个CTU划分为一个或者多个CU,CU划分模式如图1所示;在进行帧内或者帧间预测编码时,一个CU可以选择划分为一个或者多个PU,PU划分模式如图2所示;在变换、量化操作时,一个CU可以划分成一个或者多个TU。

发明内容

[0008] 本发明目的在于提供一种基于HEVC的运动目标检测和跟踪方法。本发明利用HEVC编解码过程中产生的运动矢量、编码单元划分方式、预测模式等信息进行运动目标检测与跟踪,避免不必要的数字图像处理过程,从而减少计算的复杂度,而且在不破坏原有压缩视频数据的基础上进行快速的运动目标检测和跟踪。
[0009] 为了实现上述目的,本发明采取的技术方案如下:
[0010] 一种基于HEVC的运动目标检测和跟踪方法,包括如下步骤:
[0011] 步骤1:从HEVC码流中提取当前帧编码视频的编码单元结构、运动矢量及预测模式;
[0012] 步骤2:编码块尺寸归一化;
[0013] 步骤3:确定运动宏块;
[0014] 步骤4:计算运动宏块的运动矢量权重;
[0015] 步骤5:运动目标检测;
[0016] 步骤6:运动目标分类;
[0017] 步骤7:运动目标跟踪。
[0018] 进一步地,所述步骤2中的编码块为将大小为32×32的编码单元作为运动矢量处理的基本单位。
[0019] 进一步地,所述步骤3中的确定运动宏块的步骤为:
[0020] 3.1确定编码块的大小为32×32后,定义运动矢量不为0的子编码单元为运动子宏块;
[0021] 3.2根据阈值限定法判断运动子宏块是否为运动宏块。
[0022] 进一步地,所述步骤4中计算运动宏块的运动矢量权重(MVW)的公式如下:
[0023]
[0024]
[0025] 其中,{MVi|i∈σ}表示一个编码块中运动矢量的集合,area(PUi)表示第i个PU的面积,x和y表示运动矢量的长和宽。
[0026] 进一步地,所述步骤5中运动目标检测的步骤为:
[0027] 根据运动矢量权重(MVW)值的大小,通过Otsu阈值法进行阈值选取,将运动宏块确定为运动目标或者非运动目标,具体算法如下:
[0028] 假设将运动矢量权重范围划分为[0,L‑1],Totsu为阈值,其把图像分为运动目标块A和非运动目标块B,则A和B的概率分布为:
[0029]
[0030]
[0031] pi表示该运动矢量权重的概率;平均运动矢量权重分别为:
[0032]
[0033]
[0034] 其中μ为全图的平均运动矢量权重,公式如下:
[0035]
[0036] A和B的方差为:
[0037] σ2=ωA(μA‑μ)2+(1‑ωA)(μB‑μ)2
[0038] 使得该方差最大的即为阈值,即MVW>Totsu的运动宏块确定为运动目标块。
[0039] 进一步地,所述步骤6中运动目标分类方法如下:采用支持向量机SVM进行分类汽车或行人;用训练集对SVM进行训练得到分类模型,再用得到的模型对测试集进行类别标签预测;每个样本包含5个特征分量:CU、PU、MV、MVW及预测模式;最终达到分类车辆和行人的目的。
[0040] 进一步地,所述步骤7中运动目标跟踪的方法为:
[0041] 7.1采用运动目标块匹配法对当前帧的每个运动目标块进行运动估计,预测每个块的运动矢量强度(MVI),计算公式如下:
[0042] MVI=||MV||2×32×32
[0043] 7.2对于每一个运动目标块而言,从该块中提取出运动矢量,该运动目标块按该运动矢量移位到当前帧,预测当前帧运动目标块;运动估计公式如下:
[0044] Upred=Ucur‑(m‑n)*MV
[0045] 其中,Upred表示预测运动目标块,Ucur表示当前运动目标块,m和n表示视频帧数;
[0046] 7.3验证预测运动目标块的MVI是否与真实MVI近似,判断公式如下:
[0047]
[0048] ε表示允许误差,验证成功表示跟踪成功。
[0049] 至此,整个基于HEVC的运动目标检测和跟踪方法结束。
[0050] 本发明的有益效果:
[0051] 本发明基于HEVC视频编解码格式,对将要分析的视频压缩码流数据(HEVC码流数据)进行解码分析,提取码流数据中包含的运动矢量、编码单元划分方式、预测模式等信息;然后对这些数据进行整合分析,提取运动目标的特征信息;最后借助这些特征信息实现运动目标的检测(提取)、分类和跟踪。
[0052] 本发明避免了不必要的数字图像处理过程,简化了计算的复杂度,方法简单快捷。

实施方案

[0061] 下面结合具体实施例来对本发明进行进一步说明,但并不将本发明局限于这些具体实施方式。本领域技术人员应该认识到,本发明涵盖了权利要求书范围内所可能包括的所有备选方案、改进方案和等效方案。
[0062] 本发明提供了一种基于HEVC的运动目标检测和跟踪方法。首先对HEVC码流数据进行解码分析,提取码流数据中包含的运动矢量、编码单元划分方式、预测模式等信息;然后对这些数据进行整合分析,提取运动目标的特征信息;最后借助这些特征信息实现运动目标的检测(提取)、分类和跟踪。同时,避免不必要的数字图像处理过程,从而减少计算的复杂度,而且在不破坏原有压缩视频数据的基础上进行快速的运动目标检测和跟踪。
[0063] 如图3所示,具体实现需要执行以下步骤:
[0064] 步骤1:从HEVC码流中提取当前帧编码视频的编码单元结构、运动矢量及预测模式。
[0065] 提取结果如图4所示。其中白色方框表示编码单元结构,黑色方框表示最大编码单元LCU,黑点斜线表示运动矢量,曲线包围区域表示采用帧内预测模式。
[0066] 步骤2:编码块尺寸归一化。
[0067] 由于HEVC是根据输入视频的分辨率、内容、画面大小等特点来自主确定编码单元的采样大小,因此不同的HEVC视频可能会出现不同的编码单元采样大小,因此,我们必须在尺寸上进行归一化处理。统一将大小为32×32的编码单元作为运动矢量处理的基本单位,称之为编码块,处理结果如图5所示。
[0068] 步骤3:确定运动宏块。
[0069] 确定编码块的大小为32×32后,继而计算出一个编码块最多包含64个4×4子编码单元,同时我们定义运动矢量不为0的子编码单元为运动子宏块。根据每个编码块内部包含运动子宏块的个数来权衡该编码块是否为运动宏块,具体方法是阈值限定:遍历64个子编码块,统计运动矢量不为0的子编码块个数,若个数不小于总数的3/4(即48个),则将该编码块定义为运动宏块,确定结果如图6所示。
[0070] 步骤4:计算运动宏块的运动矢量权重。
[0071] 根据观察分析可知,视频中的运动物体通常具有运动矢量长、编码单元小的特点。故提出一种新特征运动矢量权重(MVW),计算方法如下:
[0072]
[0073]
[0074] {MVi|i∈σ}表示一个编码块中运动矢量的集合,area(PUi)表示第i个PU的面积,x和y表示运动矢量的长和宽。通过公式可知运动物体有大的MVW值,具体计算如图7所示。
[0075] 步骤5:运动目标检测。
[0076] 根据运动矢量权重(MVW)值的大小,可以将运动宏块确定为运动目标或者非运动目标。这里采用Otsu阈值法进行阈值选取。具体算法如下:
[0077] 设将运动矢量权重范围划分为[0,L‑1],Totsu为阈值,其把图像分为运动目标块A和非运动目标块B。则A和B的概率分布为:
[0078]
[0079]
[0080] pi表示该运动矢量权重的概率。平均运动矢量权重分别为:
[0081]
[0082]
[0083] 其中μ为全图的平均运动矢量权重,公式如下:
[0084]
[0085] A和B的方差为:
[0086] σ2=ωA(μA‑μ)2+(1‑ωA)(μB‑μ)2
[0087] 使得该方差最大的Totsu即为阈值,即MVW>T的运动宏块确定为运动目标块。
[0088] 步骤6:运动目标分类。
[0089] 在视频中运动目标可能是汽车或行人。这里用支持向量机SVM进行分类。SVM是以线性可分样本的最优分类超平面为基础发展来的。最优分类超平面能够在含有两类样本的空间内将类别正确的区分,并且使两类样本点到该平面的间隔最大。对于给定的线性可分数据集{xi,yi},i=1,2,3,…,N,yi∈{‑1,+1},xi∈Rd,则可用超平面进行分类:
[0090] wTx+b=0
[0091] 式中w为权向量,b为分类阈值。
[0092] 根据Lagrange对偶性原理,可得如下公式:
[0093]
[0094]
[0095]
[0096]
[0097] ai是二次规划优化问题所求解的拉格朗日因子,n为支持向量数,C为惩罚因子。
[0098] 因为本问题在其定义空间是线性不可分的,故通过核函数将原始输入空间投入到新的特征空间,原来的线性不可分任务转换为线性可分任务。所得公式如下:
[0099]
[0100]
[0101]
[0102]
[0103] K(xi,yi)为径向基函数:
[0104] K(xi,xj)=exp(‑g||xi‑xj||2)
[0105] 上式中的参数C,g值的选取采用网格搜索法获得。
[0106] 用训练集对SVM进行训练得到分类模型,再用得到的模型对测试集进行类别标签预测。每个样本包含5个特征分量:CU、PU、MV、MVW及预测模式。最终达到分类车辆和行人的目的。
[0107] 步骤7:运动目标跟踪。
[0108] 运动目标跟踪是介于目标检测之后的重要环节,是理解与分析目标行为的基础。这里采用运动目标块匹配法对当前帧的每个运动目标块进行运动估计,预测每个块的运动矢量强度MVI,计算公式如下:
[0109] MVI=||MV||2×32×32
[0110] 对于每一个运动目标块而言,从该块中提取出运动矢量,该运动目标块按该运动矢量移位到当前帧,预测当前帧运动目标块。运动估计公式如下:
[0111] Upred=Ucur‑(m‑n)*MV
[0112] Upred表示预测运动目标块,Ucur表示当前运动目标块,m和n表示视频帧数。之后验证预测运动目标块的MVI是否与真实MVI近似。判断公式如下:
[0113]
[0114] ε表示允许误差,验证成功表示跟踪成功。示意图如图8所示。
[0115] 以上所述,仅为本发明的优选实施例而已,当不能以此限定本发明实施的范围,即大凡依本发明权利要求及发明说明书内容所做的简单的等效变化与修饰,皆应仍属本发明专利覆盖的范围。

附图说明

[0053] 图1 CU划分示意图。
[0054] 图2 PU划分示意图。
[0055] 图3基于HEVC的运动目标检测和跟踪方法流程图。
[0056] 图4 HEVC码流中提取结果图。
[0057] 图5编码块尺寸归一化处理图。
[0058] 图6运动宏块示意图。
[0059] 图7运动矢量权重计算示意图。
[0060] 图8运动矢量强度计算示意图。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号