首页 > 专利 > 杭州电子科技大学 > 基于张量分解的视频浓缩方法专利详情

基于张量分解的视频浓缩方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2019-08-30
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2019-12-06
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2021-11-02
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2039-08-30
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201910814980.1 申请日 2019-08-30
公开/公告号 CN110446067B 公开/公告日 2021-11-02
授权日 2021-11-02 预估到期日 2039-08-30
申请年 2019年 公开/公告年 2021年
缴费截止日
分类号 H04N21/234H04N21/2343H04N21/44H04N21/4402H04N5/14 主分类号 H04N21/234
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 4
权利要求数量 5 非专利引证数量 1
引用专利数量 1 被引证专利数量 0
非专利引证 1、2015.08.27王雨晨.基于张量分解的视频压缩与空时编码技术研究《.北京邮电大学》.2019,7-23页. 邢玲,马强,胡金军.基于场景分割的视频内容语义管理机制《.电子学报》.2016,2357-2363页.;
引用专利 US2015238148A 被引证专利
专利权维持 3 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 浦鑫辉、张善卿、陆剑锋、李黎 第一发明人 浦鑫辉
地址 浙江省杭州市下沙高教园区白杨街道2号大街1158号 邮编 310018
申请人数量 1 发明人数量 4
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州君度专利代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
朱月芬
摘要
本发明公开了一种基于张量分解的视频浓缩方法,属于本发明在前人方法的基础上进行改进,使其效率提高。本发明通过将视频通过特定算法分成各个段,再对各个视频分段进行张量分解,并提取出特征帧代替该段,最后将特征帧重组为视频文件,实现视频浓缩。实验结果证明该视频可以非常有效的提取视频中的关键信息减少冗余。另外,本发明的视频处理模型能够非常有效的处理是视频文件而且浓缩后的视频大大节约视频的处理时间,提高了检测效率,这也使得其大大优于前人的方法。
  • 摘要附图
    基于张量分解的视频浓缩方法
  • 说明书附图:图1
    基于张量分解的视频浓缩方法
  • 说明书附图:图2
    基于张量分解的视频浓缩方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2021-11-02 授权
2 2019-12-06 实质审查的生效 IPC(主分类): H04N 21/234 专利申请号: 201910814980.1 申请日: 2019.08.30
3 2019-11-12 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于张量分解的视频浓缩方法,其特征在于:通过将视频文件以场景为标准分段,再将每一部分的视频逐帧读入并转化成张量求取其特征帧,然后利用特征帧重组视频以此达到视频浓缩的效果;具体步骤如下:
S1:将待测视频逐帧迭代输入转化为灰度图像,从每帧的相同位置选取n×n的块,并将每个块的所有像素的DCT系数按序排列构成矢量:
Vi={c1,c2,c3…,cj,…,cn×n}
其中:Vi为第i帧中块的DCT系数所构成的矢量,cj表示块中第j个像素的DCT系数,j=1,
2,3,...,n×n;
S2:按设定的间隔步长,两两计算间隔帧之间的差别,若差别超过阈值则认为两帧之间发生了场景变化,否则认为两帧之间没有发生场景变化;
S3:根据S2的检测结果,对待测视频进行分段,使隶属于同一场景的所有帧划分至同一段中,再将每段视频表示为一个三阶张量;
S4:对每个张量进行张量分解获得特征张量,具体公式如下:
式中, 为单个场景的视频张量,W为张量沿时间轴展开后的矩阵,ε为提取出的特征张量,上标T表示转置;
S5:从每个特征张量中提取特征图;
S6:将所有场景的特征图帧按序逐帧重构为视频文件,该视频文件即为浓缩后的目标视频。

2.根据权利要求1所述的基于张量分解的视频浓缩方法,其特征在于,步骤S1中,每个块的大小为8×8。

3.根据权利要求1所述的基于张量分解的视频浓缩方法,其特征在于,步骤S2中,设定间隔步长β,两两计算间隔帧之间的差异值:
其中:D(i,i+β)表示第i帧与第i+β帧之间的差异值,|·|表示向量的模;
若1‑|D(i,i+β)|>T1,则认为第i帧与第i+β帧发生了场景的变化,属于不同场景;否则认为第i帧与第i+β帧之间没有发生场景变化,属于同一场景;其中T1为第一阈值,|D(i,i+β)|表示D(i,i+β)的绝对值。

4.根据权利要求3所述的基于张量分解的视频浓缩方法,其特征在于,步骤S2中,设定第二阈值T2,且T2>T1;
若1‑|D(i,i+β)|≥T2,则认为第i帧与第i+β帧发生了场景的变化;
若1‑|D(i,i+β)|≤T1,则认为第i帧与第i+β帧之间没有发生场景变化;
若T1<1‑|D(i,i+β)|<T2,则继续进行二次判定,判定方法为:
1)从第i帧中取出N个块,然后从第i+β帧的相同为位置取出等数量的N个块,再将两帧图像中位置对应的两个块作为一组;
2)依次对每组块的DCT系数相减求和,计算公式为:
式中:D(i,i+β,l)表示第i帧与第i+β帧的第l组块之间的绝对差;cl,k(i)是第i帧第l块的第k个像素的DCT系数;max[cl,k(i),cl,k(i+β)]表示cl,k(i)和cl,k(i+β)之间的较大值;
如果绝对差D(i,i+β,l)超过第三阈值T3,则认为第i帧与第i+β帧的第l组块发生了变化,否则认为没有发生变化;
3)统计N组块中发生块变化的组数量,若超过第四阈值T4,则认为视频序列从第i帧与第i+β帧发生了场景的变化;否则视为从第i帧与第i+β帧没有发生场景的变化。

5.根据权利要求1所述的基于张量分解的视频浓缩方法,其特征在于,步骤S5中,提取特征张量的第一切片为特征图。
说明书

技术领域

[0001] 本发明针对视频浓缩领域,特别是提出了一种基于张量分解的视频浓缩方法,该方法具有较高的视频浓缩比率和较好的视频质量

背景技术

[0002] 随着计算机和通信技术的发展,视频文件在人们生活中越来越普遍,逐渐成为人们获取信息的主要渠道,然而视频文件连续性导致视频文件存在许多冗余信息,图片相似度高,表达的意思相同,使人们获取信息效率变低同时传输速度变慢。
[0003] 首先,要从视频中获取有用信息必须逐秒浏览,这无疑工作量巨大,犹如大海捞针。其次,通过计算机识别视频信息的技术现在还不普遍,人们浏览寻找相应视频文件都是靠人工,面对巨量的视频,人们工作的效率低下并且容易产生疲劳出现纰漏。

发明内容

[0004] 鉴于上述特点,本发明提出了一种基于张量分解的视频浓缩技术,该方法采用张量分解视频的方式,获取一小段视频的特征帧,然后将特征帧重组成视频文件,因为特征帧保留了一段视频的场景信息和人物信息,减少了因视频文件重复而形成的大量冗余,提高了人们获取视频内信息的效率。
[0005] 本发明的技术方案步骤如下:
[0006] 一种基于张量分解的视频浓缩方法,其具体步骤如下:
[0007] S1:将待测视频逐帧迭代输入转化为灰度图像,从每帧的相同位置选取n×n的块,并将每个块的所有像素的DCT系数按序排列构成矢量:
[0008] Vi={c1,c2,c3……,cn×n}
[0009] 其中:Vi为第i帧中块的灰度值所构成的矢量,cj表示块中第j个像素的DCT系数,j=1,2,3,…,n×n;
[0010] S2:按设定的间隔步长,两两计算间隔帧之间的差别,若差别超过阈值则认为两帧之间发生了场景变化,否则认为两帧之间没有发生场景变化:
[0011] S3:根据S2的检测结果,对待测视频进行分段,使隶属于同一场景的所有帧划分至同一段中,再将每段视频表示为一个三阶张量;
[0012] S4:对每个张量进行张量分解获得特征张量;
[0013] S5:从每个特征张量中提取特征图;
[0014] S6:将所有场景的特征图帧按序逐帧重构为视频文件,该视频文件即为浓缩后的目标视频。
[0015] 在上述方案的基础上,各步骤的具体参数和做法可采用如下优选方式实现。
[0016] 作为优选,步骤S1中,每个块的大小为8×8。
[0017] 作为优选,步骤S2中,设定间隔步长β,两两计算间隔帧之间的差异值:
[0018]
[0019] 其中:D(i,i+β)表示第i帧与第i+β帧之间的差异值,|·|表示向量的模;
[0020] 若1‑|D(i,i+β)|>T1,则认为第i帧与第i+β帧发生了场景的变化,属于不同场景;否则认为第i帧与第i+β帧之间没有发生场景变化,属于同一场景;其中T1为第一阈值,|D(i,i+β)|表示D(i,i+β)的绝对值。
[0021] 进一步的,步骤S2中,设定第二阈值T2,且T2>T1;
[0022] 若1‑|D(i,i+β)|≥T2,则认为第i帧与第i+β帧发生了场景的变化;
[0023] 若1‑|D(i,i+β)|≤T1,则认为第i帧与第i+β帧之间没有发生场景变化;
[0024] 若T1<1‑|D(i,i+β)|<T2,则继续进行二次判定,判定方法为:
[0025] 1)从第i帧中取出N个块,然后从第i+β帧的相同为位置取出等数量的N个块,再将两帧图像中位置对应的两个块作为一组;
[0026] 2)依次对每组块的DCT系数相减求和,计算公式为:
[0027]
[0028] 式中:D(i,i+β,l)表示第i帧与第i+β帧的第l组块之间的绝对差;cl,k(i)是第i帧第l块的第k个像素的DCT系数;max[cl,k(i),cl,k(i+β)]表示cl,k(i)和cl,k(i+β)之间的较大值;
[0029] 如果绝对差D(i,i+β,l)超过第三阈值T3,则认为第i帧与第i+β帧的第l组块发生了变化,否则认为没有发生变化;
[0030] 3)统计N组块中发生块变化的组数量,若超过第四阈值T4,则认为视频序列从第i帧与第i+β帧发生了场景的变化;否则视为从第i帧与第i+β帧没有发生场景的变化。
[0031] 作为优选,步骤S4中,对每个张量进行张量分解获得特征张量,具体公式如下:
[0032]
[0033] 式中, 为单个场景的视频张量,W为张量沿时间轴展开后的矩阵,ε为提取出的特征张量,上标T表示转置。
[0034] 作为优选,步骤S5中,提取特征张量的第一切片为特征图。
[0035] 本发明的有益效果:
[0036] 本发明针对视频浓缩的比率和质量,采用张量分解视频的方式,一次的减少视频的信息冗余。既保留了原视频文件需要传达的主要信息,又减少了视频文件的冗余,体现了视频浓缩的优越性。

实施方案

[0039] 下面结合附图,对本发明的具体实施方案作进一步详细描述。
[0040] 基于张量分解的视频浓缩方法,其具体步骤描述如图1所示。该方法的发明构思是通过场景分隔算法,将视频文件以场景为标准分段,再将每一部分的视频逐帧读入并转化成张量求取其特征帧,然后利用特征帧重组视频以此达到视频浓缩的效果。下面详细叙述该浓缩方法的具体步骤:
[0041] S1:将待测视频逐帧迭代输入转化为灰度图像,从每帧的相同位置选取n×n的块,并将每个块的所有像素的DCT系数按序排列构成矢量:
[0042] Vi={c1,c2,c3……,cn×n}
[0043] 其中:Vi为第i帧中块的灰度值所构成的矢量,cj表示块中第j个像素的DCT系数,j=1,2,3,…,n×n。在本实施例中,n取值为8,即每个块的大小为8×8。灰度图可以通过DCT变换得到相应的DCT系数,具体变换过程可以采用现有方法进行,不再赘述。
[0044] S2:按设定的间隔步长,两两计算间隔帧之间的差别,若差别超过阈值则认为两帧之间发生了场景变化,否则认为两帧之间没有发生场景变化。
[0045] 具体的间隔步长可根据视频的特点进行调整,若视频场景切换较少,可以设定较大的步长,若视频场景切换十分频繁,可以设定较小的步长。本实施例中,设定间隔步长β,按照下列公式两两计算间隔帧之间的差异值:
[0046]
[0047] 其中:D(i,i+β)表示第i帧与第i+β帧之间的差异值,|·|表示向量的模;
[0048] 若1‑|D(i,i+β)|>T1,则认为第i帧与第i+β帧发生了场景的变化,属于不同场景;否则认为第i帧与第i+β帧之间没有发生场景变化,属于同一场景;其中T1为第一阈值,具体取值可以根据实际进行调整,|D(i,i+β)|表示D(i,i+β)的绝对值。
[0049] S3:根据S2的检测结果,对待测视频进行分段,使隶属于同一场景的所有帧划分至同一段中,再将每段视频表示为一个三阶张量;
[0050] S4:对每个张量进行张量分解获得特征张量。本实施例中,对每段视频的三阶张量进行张量分解获得特征张量是通过如下具体公式进行的:
[0051]
[0052] 式中, 为单个场景的视频张量,W为张量沿时间轴展开后的矩阵,ε为提取出的特征张量,上标T表示转置。
[0053] S5:从每个特征张量中提取特征图,在本实施例中提取特征张量的第一切片为特征图。在本实施例中,图2中展示了视频按场景分段后的若干特征图样本,其中a)~d)分别属于四个不同的场景。
[0054] S6:将所有场景的特征图帧按序逐帧重构为视频文件,该视频文件即为浓缩后的目标视频。
[0055] 在浓缩视频中,实际上是以提取出的特征图像帧代替了该场景对应的视频段,实验结果证明该视频可以非常有效的提取视频中的关键信息减少冗余。另外,本发明的视频处理模型能够非常有效的处理是视频文件,而且浓缩后的视频大大节约视频的处理时间,提高了检测效率,这也使得其大大优于前人的方法。
[0056] 在上述步骤S2中,第一阈值T1起到了初步的场景划分作用,但是由于采用单一的块作为场景划分基础,容易产生因为摄像机和物体运动而导致的误检现象,进而使得场景划分产生误差。因此在另一实施例中可以设置一个第二阈值T2,且T2>T1,采用双重判定的方式进行场景变换检测。其中T2的具体取值根据实际的试验确定,保证检测准确性。
[0057] 若1‑|D(i,i+β)|≥T2,表明两帧之间发生了明显的变化,则认为第i帧与第i+β帧发生了场景的变化;
[0058] 若1‑|D(i,i+β)|≤T1,表明两帧之间没有发生明显的变化,则认为第i帧与第i+β帧之间没有发生场景变化;
[0059] 若T1<1‑|D(i,i+β)|<T2,表明两帧之间发生了一定程度上的变化,但无法排除是否是由摄像机和物体运动而导致的,因此需要继续进行二次判定,判定方法为:
[0060] 1)首先,从第i帧中取出N个块,然后从第i+β帧的相同为位置取出等数量的N个块,再将两帧图像中位置对应的两个块作为一组。取出的块的数量N可以根据需要进行设定,例如4~8块。
[0061] 2)每组块中的两个块基于其DCT系数判断差异程度,具体是依次对每组块中两个块的DCT系数相减求和计算绝对差,计算公式为:
[0062]
[0063] 式中:D(i,i+β,l)表示第i帧与第i+β帧的第l组块之间的绝对差;cl,k(i)是第i帧第l块的第k个像素的DCT系数;max[cl,k(i),cl,k(i+β)]表示cl,k(i)和cl,k(i+β)之间的较大值;
[0064] 如果绝对差D(i,i+β,l)超过第三阈值T3,则认为第i帧与第i+β帧的第l组块发生了变化,否则认为没有发生变化。T3的具体取值根据实际的试验确定,保证检测准确性。
[0065] 3)统计N组块中发生块变化的组数量,若超过第四阈值T4,则表明两帧之间多个位置块都发生了变化,可以排除是摄像机和物体运动而导致的误差,应当认为视频序列从第i帧与第i+β帧发生了场景的变化;若未超过第四阈值T4,则视为从第i帧与第i+β帧没有发生场景的变化。T4是一个取值不高于N的数,具体取值根据实际的试验确定。
[0066] 以上所述的实施例只是本发明的一种较佳的方案,然其并非用以限制本发明。有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案,均落在本发明的保护范围内。

附图说明

[0037] 图1为本发明的基于张量分解的视频浓缩方法流程图;
[0038] 图2为视频按场景分段后的特征帧图像样本,其中a)~d)分别属于四个不同的场景。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号