首页 > 专利 > 长安大学 > 一种在弯曲道路监控环境下获取地平线的方法专利详情

一种在弯曲道路监控环境下获取地平线的方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2019-08-16
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2020-02-11
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2022-10-28
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2039-08-16
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201910758702.9 申请日 2019-08-16
公开/公告号 CN110675362B 公开/公告日 2022-10-28
授权日 2022-10-28 预估到期日 2039-08-16
申请年 2019年 公开/公告年 2022年
缴费截止日
分类号 G06T7/00G06T7/13G06T7/194G06T7/269G06T7/60 主分类号 G06T7/00
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 2
权利要求数量 3 非专利引证数量 1
引用专利数量 1 被引证专利数量 0
非专利引证 1、2009.03.05王家恩等.车辆辅助驾驶系统中的三车道检测算法《.汽车工程》.2014,(第11期),郭子逸.一种基于单目视觉的车道偏离检测与预警方法《.机械制造》.2012,(第05期),;
引用专利 WO2009027090A 被引证专利
专利权维持 3 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 长安大学 当前专利权人 长安大学
发明人 王伟、赵思雨、崔华、韩立新、王兰玲、刘兴旺、武俊楠 第一发明人 王伟
地址 陕西省西安市雁塔区二环南路中段126号 邮编 710064
申请人数量 1 发明人数量 7
申请人所在省 陕西省 申请人所在市 陕西省西安市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
西安恒泰知识产权代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
李婷
摘要
本发明提供了一种在弯曲道路监控环境下获取地平线的方法,包括:步骤1,在弯曲道路图像中划分背景区域和运动区域,并获取运动区域中的多条车辆轨迹;步骤2,从多条车辆轨迹中筛选得到车辆直线轨迹集合和车身边缘直线集合;步骤3,在车身边缘直线集合中选取与车辆直线轨迹集中任一条车辆直线轨迹相垂直的车身边缘直线作为车辆横向边缘直线,即得到车辆横向边缘直线集合;步骤4,将车辆直线轨迹集合和车辆横向边缘直线集合映射到钻石空间中,分别得到钻石空间中两个折线集合,获取两个折线集合的交点,即为钻石空间中的消失点;步骤5,将钻石空间中的消失点转换到图像空间中,得到图像空间中的消失点(u0,v0)和(u1,v1),消失点(u0,v0)和(u1,v1)相连直线的延伸即为地平线。
  • 摘要附图
    一种在弯曲道路监控环境下获取地平线的方法
  • 说明书附图:图1
    一种在弯曲道路监控环境下获取地平线的方法
  • 说明书附图:图2
    一种在弯曲道路监控环境下获取地平线的方法
  • 说明书附图:图3
    一种在弯曲道路监控环境下获取地平线的方法
  • 说明书附图:图4
    一种在弯曲道路监控环境下获取地平线的方法
  • 说明书附图:图5
    一种在弯曲道路监控环境下获取地平线的方法
  • 说明书附图:图6
    一种在弯曲道路监控环境下获取地平线的方法
  • 说明书附图:图7
    一种在弯曲道路监控环境下获取地平线的方法
  • 说明书附图:图8
    一种在弯曲道路监控环境下获取地平线的方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2022-10-28 授权
2 2020-02-11 实质审查的生效 IPC(主分类): G06T 7/00 专利申请号: 201910758702.9 申请日: 2019.08.16
3 2020-01-10 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种在弯曲道路监控环境下获取地平线的方法,其特征在于,包括以下步骤:
步骤1,从监控视频中获取弯曲道路图像,在弯曲道路图像中划分背景区域和运动区域,并获取运动区域中的多条车辆轨迹;
步骤2,从多条车辆轨迹中筛选得到车辆直线轨迹集合 和车身边缘
直线集合 表示第i条车辆直线轨迹,h表示车辆直线,Nh表示车辆直
线轨迹的总数; 表示第j条车身边缘直线,v表示车身边缘,Nv表示车身边缘直线的总数;
步骤3,在所述车身边缘直线集合Ωv中选取与车辆直线轨迹集合Ωh中任一条车辆直线轨迹 相垂直的车身边缘直线作为车辆横向边缘直线,获得车辆横向边缘直线集合步骤4,将车辆直线轨迹集合Ωh和车辆横向边缘直线集合 映射到钻石空间中,分别得到钻石空间中两个折线集合,获取两个折线集合的交点,获得钻石空间中的消失点;
步骤5,将钻石空间中的消失点转换到图像空间中,得到图像空间中的消失点(u0,v0)和(u1,v1),消失点(u0,v0)和(u1,v1)相连直线的延伸即为地平线。

2.如权利要求1所述的获取地平线的方法,其特征在于,步骤4中所述将车辆直线轨迹集合Ωh和车辆横向边缘直线集合 映射到钻石空间中,分别得到钻石空间中两个折线集合,包括:
步骤41,从车辆直线轨迹集合Ωh和车辆横向边缘直线集合 中任选一条直线作为图像空间中的当前直线;
步骤42,设当前直线为ax+by+c=0,则当前直线转换到钻石空间中为折线:
其中,a,b,c为直线参数,α=sgn(ab),β=sgn(bc),γ=sgn(ac);
步骤43,将车辆直线轨迹集合Ωh和车辆横向边缘直线集合 中的每一条直线均作为当前直线,重复步骤42,获得钻石空间中的折线集合。

3.如权利要求1所述的获取地平线的方法,其特征在于,步骤5中将钻石空间中的消失点转换到图像空间中,得到图像空间中的消失点(u0,v0)和(u1,v1),包括:
对钻石空间中的消失点进行卷积平滑处理,设处理后的钻石空间中的消失点为(x0,y0)和(x1,y1),通过式(1)将钻石空间中的消失点为(x0,y0)和(x1,y1)转换到图像空间中,得到图像空间中的消失点(u0,v0)和(u1,v1);
式(1)中,w为道路宽度。
说明书

技术领域

[0001] 本发明属于智能交通领域,具体涉及一种在弯曲道路监控环境下获取地平线的方法。

背景技术

[0002] 地平线的求取是许多场景下的一种重要特征。目前,地平线检测的方法大体上分成3类:基于边缘特征、基于机器学习和基于区域特征。基于边缘特征的方法,是在图像边缘点的基础上通过霍夫变换得到地平线的方程,对于交通视频场景而言,公路、房屋、农田等直线特征明显,再加上低能见度带来的图像模糊,难以提取到精细的边缘;基于机器学习的方法,需要预先学习训练,训练结果的泛化能力和在线应用通常难以保证,因而限制其应用的范围,另外有研究者综合改进了这些方法,提出基于类间方差的地平线检测算法,该算法取图像蓝色通道,使用角度和距离两个变量对图像中的直线进行穷举,构造类间方差最优判别准则,对直线筛选得到地平线,然而该算法时间复杂度与角度、距离的穷举分辨率成正比,运算量大;基于边缘检测方法,要求地平线是比较明显的,或者是路面上有比较突出的特征,并且可以根据这些特征分割出图像中路面区域。
[0003] 上述现有方法在一定的前提条件下可以完成地平线检测,但是在实际应用中,受实际场景的环境限制明显,例如在复杂的道路场景(弯曲道路,遮挡,阴影,车道线模糊不清及拥堵等场景)中,不能非常准确的检测出地平线,并且检测的计算复杂度也比较高。

发明内容

[0004] 针对现有技术中存在的不足,本发明的目的在于提供一种在弯曲道路监控环境下获取地平线的方法,解决现有技术在交通场景中特征提取不准确导致的地平线求取有误且计算量大的技术问题。
[0005] 为了解决上述技术问题,本申请采用如下技术方案予以实现:
[0006] 一种在弯曲道路监控环境下获取地平线的方法,包括以下步骤:
[0007] 步骤1,从监控视频中获取弯曲道路图像,在弯曲道路图像中划分背景区域和运动区域,并获取运动区域中的多条车辆轨迹;
[0008] 步骤2,从多条车辆轨迹中筛选得到车辆直线轨迹集合 和车身边缘直线集合 表示第i条车辆直线轨迹,h表示车辆直线,Nh表示
车辆直线轨迹的总数;表示第j条车身边缘直线,v表示车身边缘,Nv表示车身边缘直线的总数;
[0009] 步骤3,在所述车身边缘直线集合Ωv中选取与车辆直线轨迹集合Ωh中任一条车辆直线轨迹 相垂直的车身边缘直线作为车辆横向边缘直线,获得车辆横向边缘直线集合[0010] 步骤4,将车辆直线轨迹集合Ωh和车辆横向边缘直线集合 映射到钻石空间中,分别得到钻石空间中两个折线集合,获取两个折线集合的交点,获得钻石空间中的消失点;
[0011] 步骤5,将钻石空间中的消失点转换到图像空间中,得到图像空间中的消失点(u0,v0)和(u1,v1),消失点(u0,v0)和(u1,v1)相连直线的延伸即为地平线。
[0012] 进一步地,步骤4中所述将车辆直线轨迹集合Ωh和车辆横向边缘直线集合 映射到钻石空间中,分别得到钻石空间中两个折线集合,包括:
[0013] 步骤41,从车辆直线轨迹集合Ωh和车辆横向边缘直线集合 中任选一条直线作为图像空间中的当前直线;
[0014] 步骤42,设当前直线为ax+by+c=0,则当前直线转换到钻石空间中为折线:
[0015]
[0016] 其中,a,b,c为直线参数,α=sgn(ab),β=sgn(bc),γ=sgn(ac);
[0017] 步骤43,将车辆直线轨迹集合Ωh和车辆横向边缘直线集合 中的每一条直线均作为当前直线,重复步骤42,获得钻石空间中的折线集合。
[0018] 进一步地,步骤5中将钻石空间中的消失点转换到图像空间中,得到图像空间中的消失点(u0,v0)和(u1,v1),包括:
[0019] 对钻石空间中的消失点进行卷积平滑处理,设处理后的钻石空间中的消失点为(x0,y0)和(x1,y1),通过式(1)将钻石空间中的消失点为(x0,y0)和(x1,y1)转换到图像空间中,得到图像空间中的消失点(u0,v0)和(u1,v1);
[0020]
[0021] 式(1)中,w为道路宽度。
[0022] 本发明与现有技术相比,有益的技术效果是:
[0023] 1、本发明提供一种在弯曲道路监控环境下获取地平线的方法通过引入了钻石空间,建立了点‑线‑点的变换,将车辆直线行驶轨迹和车身横向直线轨迹转换为折线,简单有效地在弯曲道路视频中获取了地平线,提高了地平线求取的准确性;
[0024] 2、本发明提供一种在弯曲道路监控环境下获取地平线的方法针对性和通用性好,可应用于弯曲道路视频中的地平面求取,弥补传统消失点求取方法的不足,提高准确性。

实施方案

[0034] 以下给出本发明的具体实施例,需要说明的是本发明并不局限于以下具体实施例,凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。
[0035] 首先对本发明涉及的定义或概念内涵做以说明:
[0036] 图像空间:原点位于图像平面主点位置,坐标轴X和Y方向和图像行和列一致,Z与相机主轴方向一致。
[0037] 钻石空间:依据级联变换的思想和平行坐标系,建立了点‑线‑点的变换,将无穷的图像域压缩到变换空间中有限的菱形区域中,由于此空间形似钻石,故形象的称之为钻石空间,如图五,d代表钻石空间y半轴长度,D代表钻石空间x半轴长度,原图像域中无穷的空间被映射到了有穷的菱形区域内。
[0038] 实施例:
[0039] 本实施例给出一种在弯曲道路监控环境下获取地平线的方法,包括以下步骤:
[0040] 步骤1,从监控视频中获取弯曲道路图像,在弯曲道路图像中划分背景区域和运动区域,并获取运动区域中的多条车辆轨迹;
[0041] 本发明利用道路上方的交通监控视频,可以获得该区域道路及运动的车辆,本实施例中拍摄背景是背景较少的固定场景,利用自适应的高斯混合模型(Adaptive GMM,Gaussian Mixture Model),入侵物体即运动车辆就能通过标出场景图像中不符和这一背景模型的部分来检测到。背景建模完成后,使用统计差分进行目标像素判断以达到对前景目标的检测,同时用目标像素不断更新背景模型以实现对动态背景的建模拟合。我们认定运行中的汽车为前景,道路为背景,非道路区域例如天空植被属于非背景。为了避免检测出伪目标,对检测到的目标车辆进行矩形包络时,对长宽比过大,或者图像矩形度过低,可以删除,提高准确度。
[0042] 如图1所示为弯曲道路图像,本发明中的运动区域即为车辆,图2中黑框区域为运动区域;
[0043] 本发明采用“金字塔Lucas‑Kanade光流方法”对运动车辆目标进行追踪。
[0044] 步骤2,从多条车辆轨迹中筛选得到车辆直线轨迹集合 和车i
身边缘直线集合 lh 车辆直
线,Nh表示车辆直线轨迹的总数;表示第j条车身边缘直线,v表示车身边缘,Nv表示车身边缘直线的总数;
[0045] 为了求取弯曲道路场景下的地平线,为保证车辆轨迹适合后续的消失点检测,要获取目标车辆尽可能长的轨迹直线段,因此对车辆轨迹进行筛选,首先要确保轨迹足够长,并且轨迹上的轨迹点足够多,以便对轨迹点进行拟合得到轨迹。
[0046] 本实施例通过最小二乘拟合的方法,对追踪的点进行拟合成直线段。车身边缘采用“LSD快速直线检测算法”,获取车身边缘直线集合 如图3。
[0047] 步骤3,在车身边缘直线集合Ωv中选取与车辆直线轨迹集合Ωh中任一条车辆直线轨迹 相垂直的车身边缘直线作为车辆横向边缘直线,即得到车辆横向边缘直线集合[0048] 根据互垂直线在透视图像中斜率正负性互异原理,可以将车辆横向边缘直线组从Ωv中选取出来,设 为某跟踪车辆轨迹线组Ωh的平均斜率,设 为 中 的斜率,选取如式(2)所示:
[0049]
[0050] 和Ωh在世界坐标系下是相互垂直的直线段集合,如图4。
[0051] 步骤4,将车辆直线轨迹集合Ωh和车辆横向边缘直线集合 映射到钻石空间中,分别得到钻石空间中两个折线集合,获取两个折线集合的交点,即为钻石空间中的消失点;如图5为图像空间至钻石空间的映射关系图。
[0052] 步骤4中所述将车辆直线轨迹集合Ωh和车辆横向边缘直线集合 映射到钻石空间中,分别得到钻石空间中两个折线集合,包括:
[0053] 步骤41,从车辆直线轨迹集合Ωh和车辆横向边缘直线集合 中任选一条直线作为图像空间中的当前直线;
[0054] 步骤42,设当前直线为ax+by+c=0,则当前直线转换到钻石空间中为折线[0055] 其中,a,b,c为直线参数,α=sgn(ab),β=sgn(bc),γ=sgn(ac);
[0056] 步骤43,将车辆直线轨迹集合Ωh和车辆横向边缘直线集合 中的每一条直线均作为当前直线,重复步骤42,即可得到钻石空间中的折线集合。
[0057] 步骤5,将钻石空间中的消失点转换到图像空间中,得到图像空间中的消失点(u0,v0)和(u1,v1),消失点(u0,v0)和(u1,v1)相连直线的延伸即为地平线。
[0058] 包括:
[0059] 对钻石空间中的消失点进行卷积平滑处理,引入高斯核f,对钻石域做卷积平滑D×f,减少噪声干扰。
[0060] 设处理后的钻石空间中的消失点为(x0,y0)和(x1,y1),通过式(1)将钻石空间中的消失点为(x0,y0)和(x1,y1)转换到图像空间中,得到图像空间中的消失点(u0,v0)和(u1,v1);
[0061]
[0062] 式(1)中,w为道路宽度。
[0063] 在本实施例中,采用以上的方法对图1所示的交通场景进行地平线的获取,最终获得的两个消失点如如图7所示,图像空间中消失点p0、p1的位置标注在图7中,将图7中获得的两个消失点p0、p1连线后进行延伸,获得如图8所示的地平线位置。

附图说明

[0025] 图1为交通场景示意图;
[0026] 图2为车辆轨迹提取示意图;
[0027] 图3为车身直线段检测示意图;
[0028] 图4为相互垂直直线段示意图;
[0029] 图5为钻石空间变换示意图;
[0030] 图6为钻石空间最大投票点示意图;
[0031] 图7为图像空间中消失点的位置示意图;
[0032] 图8为弯曲道路中地平线的位置示意图。
[0033] 以下结合附图和实施例对本发明的具体内容作进一步详细解释说明。
专利联系人(活跃度排行)
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号