首页 > 专利 > 杭州晶一智能科技有限公司 > 地面信息的语义性描述方法专利详情

地面信息的语义性描述方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2019-04-07
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2019-08-30
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2020-12-15
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2039-04-07
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201910273803.7 申请日 2019-04-07
公开/公告号 CN110097592B 公开/公告日 2020-12-15
授权日 2020-12-15 预估到期日 2039-04-07
申请年 2019年 公开/公告年 2020年
缴费截止日
分类号 G06T7/593G06T7/60 主分类号 G06T7/593
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 0
权利要求数量 1 非专利引证数量 0
引用专利数量 0 被引证专利数量 0
非专利引证
引用专利 被引证专利
专利权维持 3 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州晶一智能科技有限公司 当前专利权人 杭州晶一智能科技有限公司
发明人 刘瑜 第一发明人 刘瑜
地址 浙江省杭州市西湖区天目山路248号华鸿大厦2号楼六层256号 邮编 310013
申请人数量 1 发明人数量 1
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
摘要
公开一种地面信息的语义性描述方法,包括设置在移动机器人前部的双目立体摄像机,焦距为f,高度为h,双目立体摄像机的光轴与移动机器人的底盘平行,还包括与双目立体摄像机连接的处理器,处理器设置路面状况快速检测方法,包括以下步骤:获取深度信息z=f1(X,Y);投影点的摄像机坐标为(x,y,z),并计算x和y;计算地面信息图f2(X,Y)=h‑y,二值化得到f3(X,Y);将二值图f3(X,Y)进行优化处理;用二值图f3(X,Y)与优化f2(X,Y);扫描地面信息图f2(X,Y),获取路面的不平整区域的面积,最大不平整度,距离,方位角,并形成语义描述算子。该方法将原始距离信息进行精炼,形成语义描述算子方便移动机器人及其他协同工作的机器人使用。
  • 摘要附图
    地面信息的语义性描述方法
  • 说明书附图:图1
    地面信息的语义性描述方法
  • 说明书附图:图2
    地面信息的语义性描述方法
  • 说明书附图:图3
    地面信息的语义性描述方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2020-12-15 授权
2 2019-08-30 实质审查的生效 IPC(主分类): G06T 7/593 专利申请号: 201910273803.7 申请日: 2019.04.07
3 2019-08-06 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.地面信息的语义性描述方法,包括设置在移动机器人前部的双目立体摄像机,焦距为f,基线宽度为b,高度为h,所述的移动机器人的高度为H,所述的双目立体摄像机的光轴与所述的移动机器人的底盘平行,其特征在于:还包括与所述的双目立体摄像机连接的处理器,所述的处理器设置路面状况快速检测方法,包括以下步骤:
(1) 所述的处理器获取所述的双目立体摄像机的图像对fL和fR,根据视差原理,结合所述的双目立体摄像机的参数,形成深度信息z=f1 (X,Y)=f*b/d,其中X,Y为像素坐标,d是根据图像对fL和fR计算得到的位置(X,Y)的视差,z为对应的深度,对应的投影点的摄像机坐标为(x,y,z), X=x·f/z,投影角度θ=arctan(Y/f), y=z·tanθ=z·Y/f;
(2)计算地面信息图f2(X,Y)=h-y,如果| f2(X,Y)|H,则记为f3(X,Y)=0,否则f3(X,Y)=1,其中阈值T为所述的移动机器人能够跨越的最大不平整度;
(3)将二值图f3(X,Y)进行先腐蚀后膨胀的操作,去除二值图f3(X,Y)中多余的杂质点;
在此基础上再进行先膨胀后腐蚀的操作,填充二值图f3(X,Y)中细小的空洞,最终得到优化后的二值图f3`(X,Y); 计算二值图f3`(X,Y)与f2(X,Y)的hadamard积,去除f2(X,Y)中的杂散数据,即f2`(X,Y)=f3`(X,Y)*f2(X,Y);
(4)扫描地面信息图f2`(X,Y)上的所有的点,如果f2`(X0, Y0)≠0,则搜索所有与(X0, Y0)联通的所有非零点,记为(Xi ,  Yi) ,i>0,则不平整路面的面积s=
,Spix为传感器像素尺寸;在 (Xi, Yi)中,i≥0,搜索
(Xmax, Ymax)使f2`(Xi,Yi)绝对值最大,得到最大不平整度amax= f2`(Xmax, Ymax);计算点(Xi, Yi)对应的投影点到所述移动机器人的距离,D=sqrt(xi2+zi2),比较出距离最小的点(xmin,ymin),Dmin=sqrt(xmin2+zmin2),方位角α=arctan(xmin/zmin);最后,形成语义描述算子d={α, Dmin, amax,s},即距离所述的移动机器人α方向上,Dmin距离处,存在不平整区域,不平整度为amax,区域大小为s。
说明书

技术领域

[0001] 本发明涉及地面信息的语义性描述方法,属于机器视觉的图像处理领域。

背景技术

[0002] 在处理复杂任务的时候,多机器人协同工作的效率会显著提高,可以实现单个机器人无法完成的任务。当多机器人协同工作的时候,除了进行任务的分解,还需要进行检测数据的共享,比如由于各方面原因A机器人和B机器人配置了不同的环境感知传感器,A机器人配置了双目立体摄像机,B机器人配置了红外及超声波传感器,因此检测的数据具有不同的精度和范围,两个机器人相互交换检测数据可以大大弥补自身传感器的不足。但是,交换原始检测数据,会增加通讯和处理负担,并且进行多次处理,造成计算上的浪费。

发明内容

[0003] 针对上述问题,本发明提供地面信息的语义性描述方法,将移动机器人检测地面信息进行抽象化,形成语义描述算子,方便自己及其他机器人使用。
[0004] 本发明解决其技术问题所采用的技术方案是:
[0005] 地面信息的语义性描述方法,包括设置在移动机器人前部的双目立体摄像机,焦距为f,基线宽度为b,高度为h,所述的移动机器人的高度为H,所述的双目立体摄像机的光轴与所述的移动机器人的底盘平行,还包括与所述的双目立体摄像机连接的处理器,所述的处理器设置路面状况快速检测方法,包括以下步骤:
[0006] (1) 所述的处理器获取所述的双目立体摄像机的图像对fL和fR,形成深度信息z=f1 (X,Y),X,Y为像素坐标,z为对应的深度,对应的投影点的摄像机坐标为(x,y,z), X=x·f/z,投影角度θ=arctan(Y/f), y=z·tanθ=z·Y/f;
[0007] (2) 计算地面信息图f2(X,Y)=h-y,如果| f2(X,Y)|H,则记为f3(X,Y)=0,否则f3(X,Y)=1,其中阈值T为所述的移动机器人能够跨越的最大不平整度;
[0008] (3) 将二值图f3(X,Y)进行先腐蚀后膨胀的操作,去除二值图f3(X,Y)中多余的杂质点;在此基础上再进行先膨胀后腐蚀的操作,填充二值图f3(X,Y)中细小的空洞,最终得到优化后的二值图f3`(X,Y); 计算二值图f3`(X,Y)与f2(X,Y)的hadamard积,去除f2(X,Y)中的杂散数据,即f2`(X,Y)=f3`(X,Y)*f2(X,Y);
[0009] (4) 扫描地面信息图f2(X,Y)上的所有的点,如果f2(X0, Y0)≠0,则搜索所有与(X0,  Y0)联通的所有非零点,记为(Xi,  Yi),i>0,则不平整路面的面积s=,Spix为传感器像素尺寸;在 (Xi, Yi)中,i≥0,搜索
(Xmax, Ymax)使f2`(Xi,Yi)绝对值最大,得到最大不平整度amax= f2`(Xmax, Ymax);计算点(Xi, Yi)对应的投影点到所述移动机器人的距离,D=sqrt(xi2+zi2),比较出距离最小的点(xmin,ymin),Dmin=sqrt(xmin2+zmin2),方位角α=arctan(xmin/zmin);最后,形成语义描述算子d={α, Dmin, amax,s},即距离所述的移动机器人α方向上,Dmin距离处,存在不平整区域,不平整度为amax,区域大小为s。
[0010] 本发明的有益效果主要表现在:将检测数据进行抽象化,形成语义描述算子,方便自己及其他机器人使用;并且降低了通讯量,避免重复计算。

实施方案

[0014] 下面结合附图对本发明作进一步描述:
[0015] 参照图1-3,地面信息的语义性描述方法,包括设置在移动机器人前部的双目立体摄像机,焦距为f,基线宽度为b,高度为h,所述的双目立体摄像机的光轴与所述的移动机器人的底盘平行,所述的移动机器人的总高度为H。
[0016] 还包括与所述的双目立体摄像机连接的处理器,所述的处理器设置路面状况快速检测方法,包括以下步骤:
[0017] (1) 所述的处理器获取所述的双目立体摄像机的图像对fL和fR,形成深度信息z=f1 (X,Y),X,Y为像素坐标,z为对应的深度,X∈(-M/2,M/2),Y∈(-N/2,N/2),M为X方向上的像素个数,N为Y方向上的像素个数;对应的投影点的摄像机坐标为(x,y,z), X=x·f/z,投影角度θ=arctan(Y/f), y=z·tanθ=z·Y/f;
[0018] 所述的处理器是根据视差原理来计算深度信息,结合所述的双目立体摄像机的参数,可得z=f(X,Y)=f*b/d,其中d是根据图像对fL和fR计算得到的位置(X,Y)的视差。同时,根据相似三角形的比例关系,建立像素坐标与摄像机坐标的比例关系:X=x·f/z,y=z·Y/f。
[0019] (2) 计算地面信息图f2(X,Y)=h-y,如果| f2(X,Y)|H,则记为f3(X,Y)=0,否则f3(X,Y)=1,其中阈值T为所述的移动机器人能够跨越的最大不平整度;
[0020] 由于计算误差,平整路面也会产生计算上的不平整情况,同时一些小的不平整,不会影响所述的移动机器人的运行,并且高于所述的移动机器人高度的障碍物也不会影响所述的移动机器人的运行,因此在计算地面信息图f2(X,Y)的时候进行了部分数据的忽略。
[0021] (3) 将二值图f3(X,Y)进行先腐蚀后膨胀的操作,去除二值图f3(X,Y)中多余的杂质点;在此基础上再进行先膨胀后腐蚀的操作,填充二值图f3(X,Y)中细小的空洞,最终得到优化后的二值图f3`(X,Y); 计算二值图f3`(X,Y)与f2(X,Y)的hadamard积,去除f2(X,Y)中的杂散数据,即f2`(X,Y)=f3`(X,Y)*f2(X,Y);
[0022] 将二值图f3(X,Y)进行优化处理,去除杂散点和漏检点,然后通过矩阵运算hadamard积去优化f2(X,Y)。
[0023] (4) 扫描地面信息图f2`(X,Y)上的所有的点,如果f2`(X0, Y0)≠0,则搜索所有与(X0,  Y0)联通的所有非零点,记为(Xi,  Yi),i>0,则不平整路面的面积s=,Spix为传感器像素尺寸;在 (Xi, Yi)中,其中i≥0,
搜索(X max, Y max)使f2`(Xi, Yi)绝对值最大,得到最大不平整度amax= f2`(Xmax, Ymax);计算点(Xi, Yi)对应的投影点到所述移动机器人的距离,D=sqrt(xi2+zi2),比较出距离最小的点(xmin,ymin),Dmin=sqrt(xmin2+zmin2),方位角α=arctan(xmin/zmin);最后,形成语义描述算子d={α, Dmin, amax,s},即距离所述的移动机器人α方向上,Dmin距离处,存在不平整区域,不平整度为amax,区域大小为s。
[0024] 在步骤4中,扫描地面信息图f2`(X,Y)上的所有非零点,将相互连通的点作为一个独立区域,然后计算这些非零点的对应路面的面积s,然后比较出最大不平整度amax以及到所述的移动机器人的最小距离Dmin和方位角α,最终形成语义描述算子d={α, Dmin, amax,s}。因此,所述的移动机器人基于语义描述算子d与其他机器人进行数据共享,数据量小,避免重复计算,而其他机器人根据相互之间的位置关系,将语义描述算子d转换到自己的坐标系下,就可直接使用。

附图说明

[0011] 图1是双目立体摄像机设置示意图;
[0012] 图2 是不平整度计算示意图;
[0013] 图3是摄像机坐标和像素坐标示意图。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号