[0005] 针对现有技术存在的问题,本发明重点关注上述特点,充分利用视频数据空‑时‑Camer多维度数据冗余,针对性提出多层级高效视频编码算法框架。
[0006] 一种多层级监控视频高效压缩编码方法,包括以下层级:
[0007] (1)特定语义对象编码:检测出特定语义对象dn,重构对象 通过跟踪技术找到时域轨迹,通过关键点检测技术为目标对象在时域轨迹上的所有版本检测出关键点序列,仅把关键序列结构化信息传输给解码器;
[0008] (2)长期背景帧建模:设置多个场景类别,用背景帧场景索引序号区分这些场景类别;在摄像头安装时通过离线训练方法构建出背景帧an;编码器里检测场景类别,获得长期背景帧 将背景帧索引序号传输给解码器;
[0009] (3)短期背景帧建模:假设当前帧fn前面邻近帧fn‑1fn‑2已经获得了解码重构版采用多模式预测方法,获得当前帧的短期背景帧预测值 通过优化选择多模式参考预测,选择合适参考帧和加权预测系数,将编码控制参数传输给解码器;
[0010] (4)前景编码:预测残差 经过HEVC编码产生前景码流,经过解码后获得重构前景 预测残差通过信道传输给解码器。
[0011] 进一步的,所述的步骤(1)中利用深度学习检测器检测出特定语义对象dn,所述语义对象包括行人、车辆、人脸,经过压缩和检索双目标驱动的特征提取、表示和编码,经过反卷积获得解码重构对象
[0012] 进一步的,所述的步骤(4)中特定语义对象,直接将预测残差cn设置为0。
[0013] 一种用于处理所述的多层级监控视频高效压缩编码方法的解码方法,所述特定语义对象的解码方法为利用解码器解码获得关键点序列结构化信息,以及反卷积解码获得的对象,研究通过几何学方法插值重构出邻近帧目标对象解码版
[0014] 所述长期背景帧的解码方法为解码器利用长期背景帧场景类别索引号,重构出背景帧
[0015] 所述短期背景帧的解码方法为解码器利用参考帧和加权预测系数获得[0016] 所述预测残差的解码方法为解码器解码前景码流解码出
[0017] 进一步的,所述的特定语义对象解码是通过目标对象反卷积重构,最后视频解码如下:
[0018]
[0019] 一种多层级监控视频高效压缩编码装置,包括特定语义对象编码模块、长期背景帧建模模块、短期背景帧建模模块、前景编码模块,
[0020] 所述的特定语义对象编码模块检测出特定语义对象dn,重构对象 通过跟踪技术找到时域轨迹,通过关键点检测技术为目标对象在时域轨迹上的所有版本检测出关键点序列,仅把关键点序列结构化信息传输给解码器;
[0021] 所述长期背景帧建模模块设置多个场景类别,用背景帧场景索引序号区分这些场景类别;在摄像头安装时通过离线训练方法构建出背景帧an;编码器里检测场景类别,获得长期背景帧 将背景帧索引序号传输给解码器;
[0022] 所述的短期背景帧建模模块假设当前帧fn前面邻近帧fn‑1fn‑2已经获得了解码重构版 采用多模式预 测方法 ,获得当前帧的 短期背景帧预 测值通过优化选择多模式参考预测,选择合适参考帧和加权预测系数,将
编码控制参数传输给解码器;
[0023] 所述的前景编码模块预测残差 经过HEVC编码产生前景码流,经过解码后获得重构前景 预测残差通过信道传输给解码器。
[0024] 进一步的,所述的特定语义对象编码模块利用深度学习检测器检测出特定语义对象dn,所述语义对象包括行人、车辆、人脸,经过压缩和检索双目标驱动的特征提取、表示和编码,经过反卷积获得解码重构对象 进一步的,所述的步骤(4)中特定语义对象,直接将预测残差cn设置为0。
[0025] 一种用于处理多层级监控视频高效压缩编码方法的解码装置,包括对象解码模块、长期背景帧解码模块、短期背景帧解码模块、前景解码模块,所述对象解码模块利用解码器解码获得关键点序列结构化信息,以及反卷积解码获得的对象,研究通过几何学方法插值重构出邻近帧目标对象解码版
[0026] 所述长期背景帧解码模块利用长期背景帧场景类别索引号,重构出长期背景帧[0027] 所述短期背景帧解码模块利用参考帧和加权预测系数获得短期背景帧[0028] 所述前景解码模块解码前景码流解码出
[0029] 进一步的,最后视频解码如下:
[0030]
[0031] 本发明的有益效果:
[0032] (1)极大提高压缩性能;
[0033] (2)视觉对象深度特征可支持解码重构和检索。