首页 > 专利 > 重庆邮电大学 > 基于视觉的车辆定位方法及应用其方法的停车场管理系统专利详情

基于视觉的车辆定位方法及应用其方法的停车场管理系统   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2020-10-09
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2021-01-22
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2022-06-10
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2040-10-09
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN202011072513.5 申请日 2020-10-09
公开/公告号 CN112184818B 公开/公告日 2022-06-10
授权日 2022-06-10 预估到期日 2040-10-09
申请年 2020年 公开/公告年 2022年
缴费截止日
分类号 G06T7/73G06V20/58G06V20/62G06V30/146G06V30/148G06V30/19G06K9/62G06Q10/06G06F16/29G08G1/14G16Y20/10G16Y40/60 主分类号 G06T7/73
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 3
权利要求数量 4 非专利引证数量 0
引用专利数量 9 被引证专利数量 0
非专利引证
引用专利 US2018293453A1、CN110148170A、CN111274343A、CN108845343A、CN107274715A、CN107833481A、CN108460051A、CN106548486A、CN108256411A 被引证专利
专利权维持 1 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 重庆邮电大学 当前专利权人 重庆邮电大学
发明人 米建勋、李花 第一发明人 米建勋
地址 重庆市南岸区黄桷垭崇文路2号 邮编 400065
申请人数量 1 发明人数量 2
申请人所在省 重庆市 申请人所在市 重庆市南岸区
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
北京同恒源知识产权代理有限公司 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
赵荣之
摘要
本发明涉及一种基于视觉的车辆定位方法及应用其方法的停车场管理系统,属于信息化领域。所述方法包括:(1)位置标定:建立停车场的三维世界坐标系和车位平面电子地图,并对对停车场内的唯一标识做位置标定,存储每个车位编号的三维世界坐标和二维图像平面坐标;(2)图像采集:利用车载摄像头获取车身周围的环境信息;(3)编号识别:对采集到的图像进行分析处理,完成车位编号识别;(4)位置解算:根据识别的车库编号,读取相应的二维图像坐标和三维世界坐标,利用本身所使用算法得到摄像机的位置,实现定位。本发明能够实现车位管理和空车位查找功能,以及解决车辆出库卫星信号恢复慢的问题。可以更好的提升用户的停车和取车体验。
  • 摘要附图
    基于视觉的车辆定位方法及应用其方法的停车场管理系统
  • 说明书附图:图1
    基于视觉的车辆定位方法及应用其方法的停车场管理系统
  • 说明书附图:图2
    基于视觉的车辆定位方法及应用其方法的停车场管理系统
  • 说明书附图:图3
    基于视觉的车辆定位方法及应用其方法的停车场管理系统
  • 说明书附图:图4
    基于视觉的车辆定位方法及应用其方法的停车场管理系统
  • 说明书附图:图5
    基于视觉的车辆定位方法及应用其方法的停车场管理系统
  • 说明书附图:图6
    基于视觉的车辆定位方法及应用其方法的停车场管理系统
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2022-06-10 授权
2 2021-01-22 实质审查的生效 IPC(主分类): G06T 7/73 专利申请号: 202011072513.5 申请日: 2020.10.09
3 2021-01-05 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.基于视觉的车辆定位方法,其特征在于:该方法包括以下步骤:
S1:位置标定;
S2:图像采集;
S3:编号识别;
S4:位置解算;
所述S1具体为:
建立停车场的三维世界坐标系、极坐标系、车位平面电子地图和车位的三维图像,并对停车场内的标识做位置标定,存储每个车位编号的三维世界坐标、极坐标、二维图像平面坐标和三维图像坐标;
所述S2具体为:
利用车载摄像头获取车身周围的环境信息;所述环境信息包括:光度信息、湿度信息、障碍物信息和通讯信号信息、车载记录仪获取的前方柱子或者墙上的车位号标记、两边的摄像头获取的地上的车位号信息;
所述S3具体为:
对采集到的图像进行分析处理,完成车位编号识别,选择有效的四个车位编号图像分割和识别;
根据识别的车位编号,读取相应的二维图像坐标、三维世界坐标和极坐标,利用车辆定位算法得到摄像机的位置,实现定位;
所述车位编号方法,包括以下步骤:
S31:图像预处理:对图像去噪,二值化和形态学操作处理;利用高斯模糊来降低噪声,开操作和加权来强化对比度,二值化和Canny边缘检测来找到物体轮廓,用先闭后开操作找到整块的矩形位置;
S32:有效区定位:基于颜色特征、几何特征和纹理特征综合检测图片中的车位编号位置,符合特征的若干区域作为候选区,选择轮廓尺寸最大的作为有效位置区域,即距离最近的车位编号位置,然后将其从图像中分离出来;
利用特征提取方法,根据车位编号的颜色、几何和纹理特征做检测获得候选区:
根据采集的车位编号图片做标记使用名为LabelImg的程序制作数据集,并训练网络,然后使用训练好的网络识别采集的图片,得到框出候选区的图像,然后对候选区做筛选选择有效区,这里设定4个区域作为有效区便于之后的位置解算,将选定的4个有效区从图片分割出来;
S33:字符分割识别;将多个有效区同步处理进行字符分割,分割得到单个字符图像;
字符分割使用垂直投影和水平投影结合法,利用二值化图片的像素分布直方图直方图的波峰波谷分析,找出相邻字符的分界点进行分割;
或选择连通域分割法,寻找连续有文字的块,若长度大于某阈值则认为该块有两个字符组成,需要分割;
S34:字符识别:识别得到的单个字符字符图像,将结果组合,实现车位编号识别任务;
选择基于模板匹配算法,将分割后的字符二值化并将其尺寸大小缩放为字符数据库中模板的大小,然后与所有的模板进行匹配,选择最佳匹配作为结果;
或选择支持向量机SVM的分类算法,训练两个SVM分类器,一个SVM用来识别大写字母,另一个SVM用来识别数字;
或选择基于深度神经网络的方法,把图像输入网络,由网络自动实现特征提取直至识别出结果;
所述车辆定位方法利用车辆定位算法得到摄像机的位置,实现具体定位:根据得到的多个点的三维世界坐标、极坐标和二维图像坐标得到相机在三维世界坐标系下和极坐标系下的位置坐标,所述车辆定位算法具体为:
(1)根据三角形的性质和相机的内参数求出多个点在当前相机坐标系下的三维坐标和极坐标;
(2)根据世界坐标系下的三维坐标和当前相机坐标系下的三维坐标以及极坐标,使用迭代最近点ICP算法求得相机旋转矩阵R和平移向量t,求得相机位姿。

2.根据权利要求1所述的基于视觉的车辆定位方法,其特征在于:所述S4具体为:
将识别的车位编号传给存储器,读取相应的二维地图坐标和三维世界坐标,根据几何投影算法得到摄像机的位置,即汽车的位置,从而实现定位;几何投影算法是根据得到的多个点的三维世界坐标和二维图像坐标得到相机的三维位置坐标的算法,具体实施流程是:
S41:读取多个车位编号的二维地图坐标,记为点集R={r1,r2,...,rn}和三维世界坐标,记为点集Pw={pw1,pw2,...,pwn};
S42:根据点集Pw中多点的空间坐标利用距离公式计算得任意两点之间的空间距离,根据对应的二维坐标r和余弦定理以及三角形相似定理计算得任意两点与相机光心夹角的余弦值;
S43:根据小孔成像模型和余弦定理构造约束方程,参数求解计算得多个点在当前相机坐标系下的三维坐标,记为点集Qc={qc1,qc2,...,qcn};
S44:根据多点世界坐标系下的三维坐标点Pw和当前相机坐标系下的三维坐标Qc,利用SVD算法,求解如下公式得到相机旋转矩阵R和平移向量t;
其中
根据如下公式求得相机在世界坐标下的坐标位置,记为Ow;
‑1
Ow=‑R t。

3.应用权利要求1~2中任一项所述方法的停车场管理系统,其特征在于:该系统包括停车场云服务中心和车载终端;
所述云服务中心包括数据存储模块、通信模块、连接管理模块、入库管理模块、出库管理模块、车位管理模块、定位模块、导航模块和空车位查找模块;
所述车载终端包括通信模块、地图处理显示模块和图像采集识别模块。

4.根据权利要求3所述的停车场管理系统,其特征在于:
所述数据存储和计算是基于云的云计算和云存储,支持多终端的云交互操作;将区域内的所有停车场电子云地图进行汇总,接口支持车载地图或百度高德地图的访问;
所述通信模块是与终端通讯相连,包括地图接口、车载移动终端接口和手机终端,通信方式根据不同的场合需求,选择WIFI、蓝牙或移动网络数据通讯方式;
所述连接管理模块是处理外来接口、终端发来的各种请求,安全性验证后转接给相应的功能的模块;
所述定位模块包括车位的使用与空闲状态,根据上述提出的定位方法实现车辆的定位,提供给导航模块;
所述导航模块是对接收每帧图的定位进行处理,结合该停车场的电子地图,在地图上描点标记当前位置,实现汽车跟踪;
所述入库管理模块是负责汽车驶入停车场的任务调度,通过调用其他功能模块实现入库任务;
所述出库管理模块是负责汽车驶出停车场的任务调度,通过调用其他功能模块实现出库任务;
所述车位管理模块是记录并更新车位的使用与空闲状态;
所述空车位查找模块是负责搜索空车位;
所述地图处理显示模块是对接收到的地图数据进行处理并显示;
所述图像采集识别模块是调用摄像头采集车身周围的图像信息,然后识别车位编号。
说明书

技术领域

[0001] 本发明属于信息化领域,涉及基于视觉的车辆定位方法及应用其方法的停车场管理系统。

背景技术

[0002] 在没有GPS信号覆盖的地下停车场多数车主都会出现方向迷失,绕圈找车位的现象,现有的停车场往往只提供了空闲车位数量,不能直观方便的让车主找到空车位,于是需要在室内环境下的车辆定位方法,来实现地下停车场内的车位导航功能。
[0003] 关于地下停车场的汽车定位和导航方法,可以分为两类,一类是改造停车场或者改造车的方法:添加基站或者部署位置标签,比如基于UWB,Ibeacon,WIFI,毫米波雷达,RFID等室内定位技术的装置,以及CN201710095994.3提出在停车场部署数个引导器,来动态检测车位和汽车,并实现引导汽车找车位;还有二维码方法:CN201610601248.2提出用二维码标记车位,通过扫描装置找到车位,CN201710397595.2除了使用二维码,还装了鱼眼环视相机来识别车库信息,在通过SLAM技术构建车库平面分布图,用建图结果实现无人车的实时高精度分米级定位;CN201910549396.8是在车辆上安装二维码,利用停车场中的摄像头识别车身上的二维码来进行连续定位。这类方法定位准确计算量小,但是需要承担改造和装置设备的成本。
[0004] 另一种是建立模型的方法,比如:CN2016105562339提出构建指纹地图,对参考点坐标和的RSSI(ReceivedSignal StrengthIndication)值建立指纹地图,根据汽车的RSSI值来确定位置;CN201710379483.4提出信号强度和场景图像双重匹配的定位方法,先做信号强度匹配,再用场景图像得到更精确的位置;CN201510708839.5预先做地图道路特性地图:根据Ti‑1状态(地理位置、行驶速度和角速度)估计Ti位置,另外通过汽车的轨迹特性和地图道路特性进行匹配定位,两种位置进行融合得到最优位置;CN201910838826.8将外部传感器数据、GPS数据、高精度地图数据进行融合处理进行定位。这些方法涉及到软件和算法层面的计算,存在对系统性能要求较高,功耗较大等问题。
[0005] 此外,与本发明定位方法类似的CN201710847934.2基于图像特征识别的车库车辆定位导航方法,通过识别车位编号来定位导航,存在以下两点问题:一是定位思路上,其方法是根据识别一个车位编号近似理解车位置在其附近的车道,但是,若汽车当前视角只能看到前方的车位编号,该方法就会近似认为汽车在前方车位编号处,从而导致定位错误,所以这种方法定位不准确;二是其对车位编号的识别方法没有介绍,提到参考车牌识别的方法去识别,这种方法在识别车位编号会存在识别不出或者效果差的问题,区别于车牌,停车场的车位编号有着位置不确定以及标识、大小、方向没有统一格式要求的问题,直接将车牌识别的方法套用过来是欠缺考虑的,没有考虑车位编号的特性特征,所以在编号识别方法上有不足。
[0006] 综上,需要提供一种低改造成本,且定位准确的定位方法以及可靠和高效的停车场导航管理系统。

发明内容

[0007] 有鉴于此,本发明的目的在于提供一种基于视觉的车辆定位方法及应用其方法的停车场管理系统。
[0008] 为达到上述目的,本发明提供如下技术方案:
[0009] 基于视觉的车辆定位方法,该方法包括以下步骤:
[0010] S1:位置标定;
[0011] S2:图像采集;
[0012] S3:编号识别;
[0013] S4:位置解算。
[0014] 可选的,所述S1具体为:
[0015] 建立停车场的三维世界坐标系、极坐标系、车位平面电子地图和车位的三维图像,并对停车场内的标识做位置标定,存储每个车位编号的三维世界坐标、极坐标、二维图像平面坐标和三维图像坐标。
[0016] 可选的,所述S2具体为:
[0017] 利用车载摄像头获取车身周围的环境信息;所述环境信息包括:光度信息、湿度信息、障碍物信息和通讯信号信息、车载记录仪获取的前方柱子或者墙上的车位号标记、两边的摄像头获取的地上的车位号信息。
[0018] 可选的,所述S3具体为:
[0019] 对采集到的图像进行分析处理,完成车位编号识别,选择有效的四个车位编号图像分割和识别;
[0020] 根据识别的车库编号,读取相应的二维图像坐标、三维世界坐标和极坐标,利用车辆定位算法得到摄像机的位置,实现定位;
[0021] 所述车库编号方法,包括以下步骤:
[0022] S41:图像预处理:对图像去噪,二值化和形态学操作处理;利用高斯模糊来降低噪声,开操作和加权来强化对比度,二值化和Canny边缘检测来找到物体轮廓,用先闭后开操作找到整块的矩形位置;
[0023] S42:有效区定位:基于颜色特征、几何特征和纹理特征综合检测图片中的车位编号位置,符合特征的若干区域作为候选区,选择轮廓尺寸最大的作为有效位置区域,即距离最近的车位编号位置,然后将其从图像中分离出来;
[0024] 利用特征提取方法,根据车位编号的颜色、几何和纹理特征做检测获得候选区:
[0025] 根据采集的车位编号图片做标记使用名为LabelImg的程序制作数据集,并训练网络,然后使用训练好的网络识别采集的图片,得到框出候选区的图像,然后对候选区做筛选选择有效区,这里设定4个区域作为有效区便于之后的位置解算,将选定的4个有效区从图片分割出来;
[0026] S43:字符分割识别;将多个有效区同步处理进行字符分割,分割得到单个字符图像;
[0027] 字符分割使用垂直投影和水平投影结合法,利用二值化图片的像素分布直方图直方图的波峰波谷分析,找出相邻字符的分界点进行分割;
[0028] 或选择连通域分割法,寻找连续有文字的块,若长度大于某阈值则认为该块有两个字符组成,需要分割;
[0029] S44:字符识别:识别得到的单个字符字符图像,将结果组合,实现车位编号识别任务;选择基于模板匹配算法,将分割后的字符二值化并将其尺寸大小缩放为字符数据库中模板的大小,然后与所有的模板进行匹配,选择最佳匹配作为结果;
[0030] 或选择支持向量机SVM的分类算法,训练两个SVM分类器,一个SVM用来识别大写字母,另一个SVM用来识别数字;
[0031] 或选择基于深度神经网络的方法,把图像输入网络,由网络自动实现特征提取直至识别出结果;
[0032] 所述车辆定位方法利用车辆定位算法得到摄像机的位置,实现具体定位:根据得到的多个点的三维世界坐标、极坐标和二维图像坐标得到相机在三维世界坐标系下和极坐标系下的位置坐标,所述车辆定位算法具体为:
[0033] (1)根据三角形的性质和相机的内参数求出多个点在当前相机坐标系下的三维坐标和极坐标;
[0034] (2)根据世界坐标系下的三维坐标和当前相机坐标系下的三维坐标以及极坐标,使用迭代最近点ICP算法求得相机旋转矩阵R和平移向量t,求得相机位姿。
[0035] 可选的,所述S4具体为:
[0036] 将识别的车库编号传给存储器,读取相应的二维地图坐标和三维世界坐标,根据几何投影算法得到摄像机的位置,即汽车的位置,从而实现定位;几何投影算法是根据得到的多个点的三维世界坐标和二维图像坐标得到相机的三维位置坐标的算法,具体实施流程是:
[0037] S41:读取多个车位编号的二维地图坐标,记为点集R={r1,r2,...,rn}和三维世界坐标,记为点集Pw={pw1,pw2,...,pwn};
[0038] S42:根据点集Pw中多点的空间坐标利用距离公式计算得任意两点之间的空间距离,根据对应的二维坐标r和余弦定理以及三角形相似定理计算得任意两点与相机光心夹角的余弦值;
[0039] S43:根据小孔成像模型和余弦定理构造约束方程,参数求解计算得多个点在当前相机坐标系下的三维坐标,记为点集Qc={qc1,qc2,...,qcn};
[0040] S44:根据多点世界坐标系下的三维坐标点Pw和当前相机坐标系下的三维坐标Qc,利用SVD算法,求解如下公式得到相机旋转矩阵R和平移向量t;
[0041]
[0042] t*=μq‑Rμp其中
[0043] 根据如下公式求得相机在世界坐标下的坐标位置,记为Ow;
[0044] Ow=‑R‑1t。
[0045] 应用所述方法的停车场管理系统,包括停车场云服务中心和车载终端;
[0046] 所述云服务中心包括数据存储模块、通信模块、连接管理模块、入库管理模块、出库管理模块、车位管理模块、定位模块、导航模块和空车位查找模块;
[0047] 所述车载终端包括通信模块、地图处理显示模块和图像采集识别模块。
[0048] 可选的,所述数据存储和计算是基于云的云计算和云存储,支持多终端的云交互操作;将区域内的所有停车场电子云地图进行汇总,接口支持车载地图或百度高德地图的访问;
[0049] 所述通信模块是与终端通讯相连,包括地图接口、车载移动终端接口和手机终端,通信方式根据不同的场合需求,选择WIFI、蓝牙或移动网络数据通讯方式;
[0050] 所述连接管理模块是处理外来接口、终端发来的各种请求,安全性验证后转接给相应的功能的模块;
[0051] 所述定位模块包括车位的使用与空闲状态,根据上述提出的定位方法实现车辆的定位,提供给导航模块;
[0052] 所述导航模块是对接收每帧图的定位进行处理,结合该停车场的电子地图,在地图上描点标记当前位置,实现汽车跟踪;
[0053] 所述入库管理模块是负责汽车驶入停车场的任务调度,通过调用其他功能模块实现入库任务;
[0054] 所述出库管理模块是负责汽车驶出停车场的任务调度,通过调用其他功能模块实现出库任务;
[0055] 所述车位管理模块是记录并更新车位的使用与空闲状态;
[0056] 所述空车位查找模块是负责搜索空车位;
[0057] 所述地图处理显示模块是对接收到的地图数据进行处理并显示;
[0058] 所述图像采集识别模块是调用摄像头采集车身周围的图像信息,然后识别车位编号。
[0059] 本发明的有益效果在于:本发明提出了两方面的方案,一方面是定位方法,利用摄像头采集的图像信息检测车位编号,并根据多个有效位置利用多点几何定位算法得到精确的车辆位置姿态,从而实现了室内停车场的定位,实现不需要添加基站或者设备就可以探测到参数点的坐标,减少了车以及停车场的设备成本和改造成本。另一方面是基于所述定位方法的停车场管理系统,利用云计算与云存储以及高宽带通信技术,构造高效的导航管理系统,实现车辆入库出库以及手机寻车的导航功能,车位管理和空车位查找功能,以及解决车辆出库卫星信号恢复慢的问题。可以更好的提升用户的停车和取车体验。
[0060] 本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

实施方案

[0068] 以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
[0069] 其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本发明的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
[0070] 本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本发明的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
[0071] 如图1所示为本发明的用于在室内停车场的车辆定位方法的流程图。所述方法包括:
[0072] (1)位置标定:建立停车场的三维世界坐标系,对停车场内的车库编号做位置标定,并存储每个车位编号的三维世界坐标,记为大写字母加w下标,如Xw;制作停车场的电子地图,标记车位编号在二维地图坐标系下的二维坐标,记为小写字母,比如x。
[0073] (2)图像采集:利用汽车上的车载摄像头拍摄周围的车库图片,可以是前方的车载记录仪获取前方柱子或者墙上的车位号标记,也可以两边的摄像头可以获取到地上的车位号信息。
[0074] (3)编号识别:对采集到的图像进行处理,选择有效的四个车位编号图像分割和识别。
[0075] 所述编号识别方法流程如图2所示,其中包括如下步骤:
[0076] ①图像预处理:对图像去噪,二值化和形态学操作处理。在具体实施方式中,可以高斯模糊来降低噪声,开操作和加权来强化对比度,二值化和Canny边缘检测来找到物体轮廓,用先闭后开操作找到整块的矩形位置;
[0077] ②有效区定位:基于颜色特征、几何特征和纹理特征综合检测图片中的车位编号位置,符合特征的若干区域作为候选区,选择轮廓尺寸较大的几个作为有效位置区域,也就是距离最近的几个车位编号位置,然后将其从图像中分离出来。在具体实施方式中,可以用传统特征提取方法,根据车位编号的颜色、几何、纹理特征做检测获得候选区:颜色特征可以是深色底浅色字和浅色底深色字两种组合,几何特征可以是矩形或者四边形,纹理特征可以是一位字母加三位数字的规则排列独特纹理特征;也可以使用深度网络的方法,自己标定数据集训练目标检测网络(Yolo或者其他)实现自动提取特征获得候选区,考虑到深度学习的方法有更好的鲁棒性这里选择训练深度网络的方法获得候选区。对得到的候选区做进一步分析、评判,将候选区轮廓以及宽高比做筛选得到有效区,并选择面积较大的几个区域做识别。具体的流程是:首先根据采集的车位编号图片做标记使用名为LabelImg的程序制作数据集,并训练网络,然后使用训练好的网络识别采集的图片,得到框出候选区的图像,然后对候选区做筛选选择有效区,这里设定4个区域作为有效区便于之后的位置解算,最后就是将选定的4个有效区从图片分割出来;
[0078] ③字符分割:将多个有效区同步处理进行字符分割,分割得到单个字符图像。具体的实施方案是,字符分割可以使用垂直投影和水平投影结合法,利用二值化图片的像素分布直方图直方图的波峰波谷分析,找出相邻字符的分界点进行分割,也可以选择连通域分割法,寻找连续有文字的块,若长度大于某阈值则认为该块有两个字符组成,需要分割。其中以连通域分割法为例,具体实施流程是首先进行灰度化操作,然后使用Canny算子边缘检测并膨胀,再使用skimage.measure模块中标记连通区域的方法实现字符分割,最后提取出单个字符图像用于识别;
[0079] ④字符识别:识别得到的单个字符字符图像,将结果组合,实现车位编号识别任务。具体的实施方法是,可以选择基于模板匹配算法,首先将分割后的字符二值化并将其尺寸大小缩放为字符数据库中模板的大小,然后与所有的模板进行匹配,选择最佳匹配作为结果;也可以选择基于机器学习算法——支持向量机(SupportVector Machine,SVM)的分类算法,训练两个SVM分类器,一个SVM用来识别大写字母(如B),另一个SVM用来识别数字;也可以选择基于深度神经网络的方法,把图像输入网络,由网络自动实现特征提取直至识别出结果。以卷积神经网络(CNN)的方法为例,具体实施流程是首先用数字和字母图片数据集训练一个CNN并保存权重数据,然后使用该网络去识别分割后的每个字符图像,将结果存储在数组中输出即得到完整得编号。
[0080] (4)位置解算:将识别的车库编号传给存储器,读取相应的二维地图坐标和三维世界坐标,根据几何投影算法得到摄像机的位置,也就是汽车的位置,从而实现定位,位置解算算法的流程如图3。所述的几何投影算法,是根据得到的多个点的三维世界坐标和二维图像坐标得到相机的三维位置坐标的算法,具体实施流程是:
[0081] ①读取多个车位编号的二维地图坐标(记为点集R={r1,r2,...,rn})和三维世界坐标(记为点集Pw={pw1,pw2,...,pwn});
[0082] ②根据点集Pw中多点的空间坐标利用距离公式计算得任意两点之间的空间距离,根据对应的二维坐标r和余弦定理以及三角形相似定理计算得任意两点与相机光心夹角的余弦值;
[0083] ③根据小孔成像模型和余弦定理构造约束方程,参数求解计算得多个点在当前相机坐标系下的三维坐标(记为点集Qc={qc1,qc2,...,qcn});
[0084] ④根据多点世界坐标系下的三维坐标点(Pw)和当前相机坐标系下的三维坐标(Qc),利用SVD算法,求解如下公式得到相机旋转矩阵R和平移向量t;
[0085]*
[0086] t=μq‑Rμp其中
[0087] ⑤根据如下公式求得相机在世界坐标下的坐标位置(记为Ow)。
[0088] Ow=‑R‑1t
[0089] 如图4所示为本发明提出的一种停车场管理系统功能模块图,该系统包括停车场云服务中心和车载终端两部分。其特征在于:所述云服务中心包括数据存储模块、通信模块、连接管理模块、入库管理模块、出库管理模块、车位管理模块、定位模块、导航模块、空车位查找模块;车载终端包括通信模块,地图处理显示模块,图像采集识别模块。其中数据存储和计算是基于云的云计算和云存储,可以支持多终端的云交互操作,将一定区域的(城市区域)的所有停车场电子云地图进行汇总,提供接口支持车载地图或者百度高德地图的访问;通信模块是与其他接口通讯模块,比如服务中心的通信模块要与地图接口、车载移动终端、手机端终端程序等通讯,车载通讯模块要和服务中心,手机等的信息交互;连接管理模块是用来处理外来系统发来的各种请求来保证系统的安全性,比如连接停车场地图请求,汽车入库请求,出库请求等,对连接进行安全性认证,然后转接给相应的功能模块;定位模块是根据上述提出的定位方法实现车辆的定位,提供给导航模块导航;导航模块是对接收每帧图的定位处理,结合该停车场的电子地图,在地图上描点标记当前位置,实现汽车跟踪;出/入库管理模块是负责汽车驶出/入停车场的任务调度,通过调用其他功能模块实现出/入库任务;车位管理模块是记录车位的使用与空闲状态,具体的,根据入库的停车请求将相应车位表示已停车,根据出库请求,将相应车位表示空闲;空车位查找模块负责查找空车位任务,具体是通过查找存储模块中车位数据找到空闲的车位,其中在入库和车端发出找空车位请求回被调用;车载终端的地图处理显示模块负责将接收到的地图数据进行处理,显示到汽车的显示屏上;图像采集识别模块是调用摄像头采集车身周围的图像信息,然后根据所述的识别方法识别周围的车位编号情况在上传给服务中心。
[0090] 所述停车场管理系统可以实现在室内环境下车辆的定位和导航功能,以及车辆进出停车场导航地图切换和位置快恢复功能,此外,该系统还支持反向寻车功能,即通过手机向云服务器发出寻车请求,根据手机所匹配的汽车,找到相应的车位编号,调用手机摄像头进行定位和导航,从而找到车位。
[0091] 为了更好的应用本发明,需要的基础工作有,首先针对当前区域的停车场制作数字化地图,建立停车场的三维世界坐标系,对停车场内的车库编号做位置标定,并存储每个车位编号的三维世界坐标,记为点集Pw={pw1,pw2,...,pwn};制作停车场的电子地图,标记并存储车位编号在二维地图坐标系下的二维坐标,记为点集R={r1,r2,...,rn}。并且将停车场的地图接口提供给服务中心,使得服务中心能够调用停车场数据。
[0092] 当车牌号为渝A12345的乘用车有停车需求时,向服务中心发送停车请求,搜索附近停车场空位情况并选择最近且有空闲车位的停车场;汽车到达停车场入口,进行车辆导航入库任务,流程如图5所示:
[0093] (1)汽车向服务中心发出停车请求,包括车辆身份(外来暂停车辆)、当前位置以及入库请求;
[0094] (2)停车场服务中心通信模块接收步骤(1)的汽车用户请求进行连接管理,确认后将车辆身份和位置信息转发给入库管理模块,将停车场的电子地图传给车端并为其推荐车位,车端加载停车场电子地图,通过地图处理显示模块处理进而在电子屏展示给司机;
[0095] (3)入库管理模块将车辆信息传给数据存储模块,并向车端发送定位请求,车端调用图像采集识别模块,采集环境的图像,对其根据所述的识别算法进行车位编号的识别:具体步骤是首先用检测网络得到候选区的图像,然后选择4个有效区分割出来;然后对4个有效区同步处理,进行灰度化操作,使用Canny算子边缘检测并膨胀,再使用skimage.measure模块中标记连通区域的方法实现字符分割并提取出单个字符图像用于识别;最后是使用训练好的cnn识别字符,将结果存储在数组中输出得到完整的车位编号;
[0096] (4)车端图像采集识别模块重复读取图像序列,直到识别到有效的四个车位编号;
[0097] (5)将编号信息传给服务中心的定位模块,其根据多个车位编号,读取相应的3D世界坐标和2D图像坐标计算当前位置;具体步骤是将识别的四个车库编号传给存储器,读取相应的二维地图坐标(记为点集{r1,r2r3,r4})和三维世界坐标(记为点集{pw1,pw2,pw3,pw4}),根据点集中多点的空间坐标利用距离公式计算得任意两点之间的空间距离,根据对应的二维坐标r和余弦定理以及三角形相似定理计算得任意两点与相机光心夹角的余弦值;根据小孔成像模型和余弦定理构造约束方程,参数求解计算得多个点在当前相机坐标系下的三维坐标(记为点集{qc1,qc2,qc3,qc4});根据多点世界坐标系下的三维坐标点(Pw)和当前相机坐标系下的三维坐标(Qc),利用SVD算法,求解得到相机旋转矩阵R和平移向量t;‑1
然后根据公式Ow=‑R t求得相机在世界坐标下的坐标位置(记为Ow),即求得汽车当前的位置坐标;
[0098] (6)定位模块将当前位置发送给导航模块,其根据当前位置,以及推荐车位的位置形成路径规划,将位置和路径传给汽车,显示在电子地图;
[0099] (7)重复定位和导航行驶直到汽车到达目标位置;
[0100] (8)若目标位置车位空闲,则结束导航任务;否则,车端发送找空闲车位请求,服务中心调用空车位查找模块,找到最近的空闲车位并将编号和位置发送给导航模块;
[0101] (9)重复(8)生成导航路径,结合定位功能对汽车导航行驶直到找到空闲车位;
[0102] (10)车端发送确认停车请求,并将车位信息(车牌号和停车位编号)传给服务中心,车位管理模块更新对应的车位状态为占用,且对应的车牌号是渝A12345,入库任务结束。
[0103] 因此顺利为汽车找到了停车位。随后车主也可以通过手机找到自己的汽车,具体流程类似车辆的导航,调用手机的摄像头,通过上述的车位编号识别方法识别当前环境的编号信息找到有效的四个编号发送给服务中心来结算位置,并调用导航模块指挥车主找到汽车。随后便是汽车要离开停车场,图6所示即车辆驶出停车场导航出库任务的流程图:
[0104] (1)汽车端向服务中心发送出库请求,服务中心处理请求,调用出库管理模块;
[0105] (2)出库管理模块调用车位管理模块将对应的车位状态改为空闲,同时调用通讯模块,将停车场电子地图、出口位置及导航路径传输给汽车;
[0106] (3)车端将接受的信息显示在车载显示屏上,并调用图像采集处理模块,使用所述的识别算法识别环境中的车位编号信息,重复读取图像序列直到得到四个有效的车位编号;
[0107] (4)车端将车位编号发送给服务中心,并调用定位和导航模块,进行位置解算定位和位置路径信息导航,直到汽车到达停车场出口;
[0108] (5)到达出口,服务中心将该停车场的出口位置标记到汽车导航地图,用其和卫星定位数据融合,快恢复导航功能,出库任务结束。
[0109] 最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

附图说明

[0061] 为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
[0062] 图1为本发明的用于在室内停车场的车辆定位方法的流程图;
[0063] 图2为本发明识别停车场车库编号方法的流程图;
[0064] 图3为本发明相机的位置解算算法的流程图;
[0065] 图4为本发明提供的停车场管理系统的系统功能模块图;
[0066] 图5为本发明实现车辆驶入停车场导航入库任务的流程图;
[0067] 图6为本发明实现车辆驶出停车场导航出库任务的流程图。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号