[0061] 下面结合具体实施例来对本发明进行进一步说明,但并不将本发明局限于这些具体实施方式。本领域技术人员应该认识到,本发明涵盖了权利要求书范围内所可能包括的所有备选方案、改进方案和等效方案。
[0062] 本发明提供了一种基于HEVC的运动目标检测和跟踪方法。首先对HEVC码流数据进行解码分析,提取码流数据中包含的运动矢量、编码单元划分方式、预测模式等信息;然后对这些数据进行整合分析,提取运动目标的特征信息;最后借助这些特征信息实现运动目标的检测(提取)、分类和跟踪。同时,避免不必要的数字图像处理过程,从而减少计算的复杂度,而且在不破坏原有压缩视频数据的基础上进行快速的运动目标检测和跟踪。
[0063] 如图3所示,具体实现需要执行以下步骤:
[0064] 步骤1:从HEVC码流中提取当前帧编码视频的编码单元结构、运动矢量及预测模式。
[0065] 提取结果如图4所示。其中白色方框表示编码单元结构,黑色方框表示最大编码单元LCU,黑点斜线表示运动矢量,曲线包围区域表示采用帧内预测模式。
[0066] 步骤2:编码块尺寸归一化。
[0067] 由于HEVC是根据输入视频的分辨率、内容、画面大小等特点来自主确定编码单元的采样大小,因此不同的HEVC视频可能会出现不同的编码单元采样大小,因此,我们必须在尺寸上进行归一化处理。统一将大小为32×32的编码单元作为运动矢量处理的基本单位,称之为编码块,处理结果如图5所示。
[0068] 步骤3:确定运动宏块。
[0069] 确定编码块的大小为32×32后,继而计算出一个编码块最多包含64个4×4子编码单元,同时我们定义运动矢量不为0的子编码单元为运动子宏块。根据每个编码块内部包含运动子宏块的个数来权衡该编码块是否为运动宏块,具体方法是阈值限定:遍历64个子编码块,统计运动矢量不为0的子编码块个数,若个数不小于总数的3/4(即48个),则将该编码块定义为运动宏块,确定结果如图6所示。
[0070] 步骤4:计算运动宏块的运动矢量权重。
[0071] 根据观察分析可知,视频中的运动物体通常具有运动矢量长、编码单元小的特点。故提出一种新特征运动矢量权重(MVW),计算方法如下:
[0072]
[0073]
[0074] {MVi|i∈σ}表示一个编码块中运动矢量的集合,area(PUi)表示第i个PU的面积,x和y表示运动矢量的长和宽。通过公式可知运动物体有大的MVW值,具体计算如图7所示。
[0075] 步骤5:运动目标检测。
[0076] 根据运动矢量权重(MVW)值的大小,可以将运动宏块确定为运动目标或者非运动目标。这里采用Otsu阈值法进行阈值选取。具体算法如下:
[0077] 设将运动矢量权重范围划分为[0,L‑1],Totsu为阈值,其把图像分为运动目标块A和非运动目标块B。则A和B的概率分布为:
[0078]
[0079]
[0080] pi表示该运动矢量权重的概率。平均运动矢量权重分别为:
[0081]
[0082]
[0083] 其中μ为全图的平均运动矢量权重,公式如下:
[0084]
[0085] A和B的方差为:
[0086] σ2=ωA(μA‑μ)2+(1‑ωA)(μB‑μ)2
[0087] 使得该方差最大的Totsu即为阈值,即MVW>T的运动宏块确定为运动目标块。
[0088] 步骤6:运动目标分类。
[0089] 在视频中运动目标可能是汽车或行人。这里用支持向量机SVM进行分类。SVM是以线性可分样本的最优分类超平面为基础发展来的。最优分类超平面能够在含有两类样本的空间内将类别正确的区分,并且使两类样本点到该平面的间隔最大。对于给定的线性可分数据集{xi,yi},i=1,2,3,…,N,yi∈{‑1,+1},xi∈Rd,则可用超平面进行分类:
[0090] wTx+b=0
[0091] 式中w为权向量,b为分类阈值。
[0092] 根据Lagrange对偶性原理,可得如下公式:
[0093]
[0094]
[0095]
[0096]
[0097] ai是二次规划优化问题所求解的拉格朗日因子,n为支持向量数,C为惩罚因子。
[0098] 因为本问题在其定义空间是线性不可分的,故通过核函数将原始输入空间投入到新的特征空间,原来的线性不可分任务转换为线性可分任务。所得公式如下:
[0099]
[0100]
[0101]
[0102]
[0103] K(xi,yi)为径向基函数:
[0104] K(xi,xj)=exp(‑g||xi‑xj||2)
[0105] 上式中的参数C,g值的选取采用网格搜索法获得。
[0106] 用训练集对SVM进行训练得到分类模型,再用得到的模型对测试集进行类别标签预测。每个样本包含5个特征分量:CU、PU、MV、MVW及预测模式。最终达到分类车辆和行人的目的。
[0107] 步骤7:运动目标跟踪。
[0108] 运动目标跟踪是介于目标检测之后的重要环节,是理解与分析目标行为的基础。这里采用运动目标块匹配法对当前帧的每个运动目标块进行运动估计,预测每个块的运动矢量强度MVI,计算公式如下:
[0109] MVI=||MV||2×32×32
[0110] 对于每一个运动目标块而言,从该块中提取出运动矢量,该运动目标块按该运动矢量移位到当前帧,预测当前帧运动目标块。运动估计公式如下:
[0111] Upred=Ucur‑(m‑n)*MV
[0112] Upred表示预测运动目标块,Ucur表示当前运动目标块,m和n表示视频帧数。之后验证预测运动目标块的MVI是否与真实MVI近似。判断公式如下:
[0113]
[0114] ε表示允许误差,验证成功表示跟踪成功。示意图如图8所示。
[0115] 以上所述,仅为本发明的优选实施例而已,当不能以此限定本发明实施的范围,即大凡依本发明权利要求及发明说明书内容所做的简单的等效变化与修饰,皆应仍属本发明专利覆盖的范围。