首页 > 专利 > 北京艾克利特光电科技有限公司 > 基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法专利详情

基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2021-11-09
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2021-12-28
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2022-03-22
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2041-11-09
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN202111321792.9 申请日 2021-11-09
公开/公告号 CN113776540B 公开/公告日 2022-03-22
授权日 2022-03-22 预估到期日 2041-11-09
申请年 2021年 公开/公告年 2022年
缴费截止日
分类号 G01C21/20G01S11/12G06K9/00G06T7/80 主分类号 G01C21/20
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 6
权利要求数量 7 非专利引证数量 0
引用专利数量 8 被引证专利数量 0
非专利引证
引用专利 CN105759839A、CN113467500A、CN109753076A、CN107610157A、CN108594851A、CN107424196A、WO2017177533A1、WO2020135446A1 被引证专利
专利权维持 0 专利申请国编码 CN
专利事件 转让 事务标签 公开、实质审查、授权、权利转移
申请人信息
申请人 第一申请人
专利权人 北京艾克利特光电科技有限公司 当前专利权人 北京升嘉祥建筑工程有限公司
发明人 严晓明、岳野、陈明、马倩如 第一发明人 严晓明
地址 北京市海淀区中关村东路66号1号楼3层 邮编 100080
申请人数量 1 发明人数量 4
申请人所在省 北京市 申请人所在市 北京市海淀区
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
北京金智普华知识产权代理有限公司 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
巴晓艳
摘要
本发明提供一种基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法,包括:根据测距传感器对被追踪车辆进行视觉测距,并将视觉测距信息反馈至云端;根据云端存储的视觉测距信息,对被追踪车辆的位姿进行估计,并确定被追踪车辆的位姿;根据被追踪车辆的位姿,进行障碍物检测,根据障碍物检测结果,规划局部路径;在局部路径中确定追踪航点,利用航点进行引导无人机的飞行状态。本发明用以实现能够自动定位被追踪物体,进一步在定位后能够实现随着被追踪物体的移动进行位移。
  • 摘要附图
    基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法
  • 说明书附图:[0025]
    基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法
  • 说明书附图:[0028]
    基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法
  • 说明书附图:[0032]
    基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法
  • 说明书附图:[0070]
    基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法
  • 说明书附图:[0073]
    基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法
  • 说明书附图:[0077]
    基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2022-04-26 专利权的转移 登记生效日: 2022.04.13 专利权人由北京艾克利特光电科技有限公司变更为北京升嘉祥建筑工程有限公司 地址由100080 北京市海淀区中关村东路66号1号楼3层变更为101399 北京市顺义区南彩镇彩祥东路16号17幢1层184室
2 2022-03-22 授权
3 2021-12-28 实质审查的生效 IPC(主分类): G01C 21/20 专利申请号: 202111321792.9 申请日: 2021.11.09
4 2021-12-10 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法,其特征在于,包括:
根据测距传感器对被追踪车辆进行视觉测距,并将视觉测距信息反馈至云端;
根据云端存储的视觉测距信息,对被追踪车辆的位姿进行估计,并确定被追踪车辆的位姿;
根据被追踪车辆的位姿,进行障碍物检测,根据障碍物检测结果,规划局部路径;
在局部路径中确定追踪航点,利用所述追踪航点对无人机的飞行进行引导,其中,所述根据测距传感器对被追踪车辆进行视觉测距,并将视觉测距信息反馈至云端包括:
获取无人机多个相机的图像信息,将图像信息的内部参数和相机的外部参数进行提取,
对多个相机的图像信息进行反转失真,获得初校准图像信息;
对多个初校准图像信息进行特征提取,并对提取的相同特征进行匹配,获得二次矫正图像信息;
将多个二次矫正图像信息投影到位于进行矫正的多个矫正图像的同一水平面,并通过单应矩阵变形对多个二次矫正图像信息进行三次矫正;
利用三次矫正图像信息进行距离测算,获得视觉测距信息。

2.根据权利要求1所述的一种基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法,其特征在于,
所述无人机多个相机的内部参数包括:焦距和像素信息;
所述无人机多个相机的外部参数为世界坐标系中的相机位置和相机旋转方向。

3.根据权利要求1所述的一种基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法,其特征在于,
所述三次矫正图像信息中包含第一图像组和第二图像组;
所述利用三次矫正图像信息进行距离测算,获得视觉测距信息包括:
将第一图像组和第二图像组中的当前时刻t和上一时刻t‑1中对应的图像分别进行提取,获得四组图像组;
获取四组图像组的特征对应关系中的特征匹配信息;
根据特征匹配信息,构建第一图像组和第二图像组的重建场景特征中的重建位置;
根据重建位置利用公式(1)进行坐标变换:
  (1);
其中,n为重建位置中存在的点的总和; 为当前时刻t时点q位于重建位置中的位置;
为上一时刻t‑1时点q在重建位置的坐标变换中的旋转动作后的位置,s为重建位置的坐标变换中的平移动作后的位置;
若在其中任意一组图像组的中心定义坐标系,且各组图像组被矫正,则获得特征匹配信息的重建位置坐标,如公式(2)所示
 ;
其中,(d1,d2)分别为其中一个图像组的特征平面坐标,f为相机焦距,J为获得该组图像组的相机之间的基线值,c为各图像组上的特征视差,(x,y,z)为重建位置坐标。

4.根据权利要求3所述的一种基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法,其特征在于,
根据云端存储的视觉测距信息,对被追踪车辆的位姿进行估计,并确定被追踪车辆的位姿还包括:
对重建坐标设定已知的起点,并根据该起点累积帧的变换;若第一帧的位姿为世界坐标系的(0,0,0),则被追踪车辆在当前时刻t的位姿为公式(3):

其中,Ot‑1为3*3矩阵记录在上一时刻t‑1的被追踪车辆方向; qt‑1为3*1矢量记录在上一时刻t‑1的被追踪车辆位姿坐标;Ot为3*3矩阵记录在t时刻的被追踪车辆方向; qt为3*1矢量记录在t时刻的被追踪车辆位姿坐标;Xt为t时刻中重建位置的坐标变换中的旋转参数;st为t时刻中重建位置的坐标变换中的平移参数。

5.根据权利要求4所述的一种基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法,其特征在于,
所述根据被追踪车辆的位姿,进行障碍物检测,根据障碍物检测结果,规划局部路径;
还包括:
对所述被追踪车辆的位姿和无人机的位姿进行立体匹配,获得实时运行路径;
根据被追踪车辆的实时运行路径进行障碍物检测;
若无障碍物,则规划无人机飞行路径中存在的多个局部路径。

6.根据权利要求5所述的一种基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法,其特征在于,
若存在障碍物,则匹配临时路径点m,并计算临时路径点m与当前时刻t的无人机位置的距离;
对该距离进行网格化,获得多个子网格单元;
将多个子网格单元以外的区域定义为无障碍;
获取无障碍边界,并将无人机移至无障碍区域。

7.根据权利要求1所述的一种基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法,其特征在于,所述在局部路径中确定追踪航点,利用所述追踪航点对无人机的飞行进行引导,包括:
将局部路径进行分段,并将每个段中的子局部路径进行提取特征,将多个特征信息定义为航点;
将多个航点以时间顺序进行连线,获得航点线路;
将航点线路作为无人机飞行状态的引导线路。
说明书

技术领域

[0001] 本发明涉及无人机实时跟踪技术领域,特别涉及一种基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法。

背景技术

[0002] 目前,无人机的应用越来越广泛,现有的无人机为人工远程操作,使其进行飞行,并进一步在飞行过程中进行信息采集,最终将采集到的信息回传至终端;
[0003] 但是当多个无人机同时工作时,一个终端难以顾及多个无人机的同时操控,因此缺少一种能够自动定位被追踪物体,进一步在定位后能够实现随着被追踪物体的移动进行位移的无人机控制方法。

发明内容

[0004] 本发明提供一种基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法,用以实现能够自动定位被追踪物体,进一步在定位后能够实现随着被追踪物体的移动进行位移。
[0005] 本发明提供一种基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法,包括:
[0006] 根据测距传感器对被追踪车辆进行视觉测距,并将视觉测距信息反馈至云端;
[0007] 根据云端存储的视觉测距信息,对被追踪车辆的位姿进行估计,并确定被追踪车辆的位姿;
[0008] 根据被追踪车辆的位姿,进行障碍物检测,根据障碍物检测结果,规划局部路径;
[0009] 在局部路径中确定追踪航点,利用所述追踪对无人机的飞行进行引导。
[0010] 优选地,所述根据测距传感器对被追踪车辆进行视觉测距,并将视觉测距信息反馈至云端包括:
[0011] 获取无人机多个相机的图像信息,将图像信息的内部参数和相机的外部参数进行提取,
[0012] 对多个相机的图像信息进行反转失真,获得初校准图像信息;
[0013] 对多个初校准图像信息进行特征提取,并对提取的相同特征进行匹配,获得二次矫正图像信息;
[0014] 将多个二次矫正图像信息投影到位于进行矫正的多个矫正图像的同一水平面,并通过单应矩阵变形对多个二次矫正图像信息进行三次矫正;
[0015] 利用三次矫正图像信息进行距离测算,获得视觉测距信息。
[0016] 优选地,所述无人机多个相机的内部参数包括:焦距和像素信息;
[0017] 所述无人机多个相机的外部参数为世界坐标系中的相机位置和相机旋转方向。
[0018] 优选地,所述三次矫正图像信息中包含第一图像组和第二图像组;
[0019] 所述利用三次矫正图像信息进行距离测算,获得视觉测距信息包括:
[0020] 将第一图像组和第二图像组中的当前时刻t和上一时刻t‑1中对应的图像分别进行提取,获得四组图像组;
[0021] 获取四组图像组的特征对应关系中的特征匹配信息;
[0022] 根据特征匹配信息,构建第一图像组和第二图像组的重建场景特征中的重建位置;
[0023] 根据重建位置利用公式(1)进行坐标变换:
[0024]   (1);
[0025] 其中,n为重建位置中存在的点的总和; 为上一时刻t‑1时点q位于重建位置中的位置; 为当前时刻t时点q位于重建位置中的位置;X为重建位置的坐标变换中的旋转动作后的位置,s为重建位置的坐标变换中的平移动作后的位置;
[0026] 若在其中任意一组图像组的中心定义坐标系,且各组图像组被矫正,则获得特征匹配信息的重建位置坐标,如公式(2)所示
[0027] ;
[0028] 其中,(d1,d2)分别为其中一个图像组的特征平面坐标,f为相机焦距,J为多个相机的基线值,c为各图像组上的特征视差,(x,y,z)为重建位置坐标。
[0029] 优选地,根据云端存储的视觉测距信息,对被追踪车辆的位姿进行估计,并确定被追踪车辆的位姿还包括:
[0030] 对重建坐标设定已知的起点,并根据该起点累积帧的变换;若第一帧的位姿为世界坐标系的(0,0,0),则被追踪车辆在当前时刻t的位姿为公式(3):
[0031] ;
[0032] 其中,Ot‑1为3*3矩阵记录在上一时刻t‑1的被追踪车辆方向; qt‑1为3*1矢量记录在上一时刻t‑1的被追踪车辆位姿坐标;Ot为3*3矩阵记录在t时刻的被追踪车辆方向; qt为3*1矢量记录在t时刻的被追踪车辆位姿坐标;Xt为t时刻中重建位置的坐标变换中的旋转参数;st为t时刻中重建位置的坐标变换中的平移参数。
[0033] 优选地,所述根据被追踪车辆的位姿,进行障碍物检测,根据障碍物检测结果,规划局部路径;还包括:
[0034] 对所述被追踪车辆的位姿和无人机的位姿进行立体匹配,获得实时运行路径;
[0035] 根据被追踪车辆的实时运行路径进行障碍物检测;
[0036] 若无障碍物,则规划无人机飞行路径中存在的多个局部路径。
[0037] 优选地,若存在障碍物,则匹配临时路径点m,并计算临时路径点m与当前时刻t的无人机位置距离;
[0038] 对该距离进行网格化,获得多个子网格单元;
[0039] 将多个子网格单元以外的区域定义为无障碍;
[0040] 获取无障碍边界,并将无人机移至无障碍区域。
[0041] 优选地,所述在局部路径中确定追踪航点,利用航点进行引导无人机的飞行状态,还包括:
[0042] 将局部路径进行分段,并将每个段中的子局部路径进行提取特征,将多个特征信息定义为航点;
[0043] 将多个航点以时间顺序进行连线,获得航点线路;
[0044] 将航点线路作为无人机飞行状态的引导线路。
[0045] 本发明中,通过利用视觉测距,实现无人机对被追踪车辆的距离进行监测,进一步利用视觉测距信息对被追踪车辆的位姿进行估计,接着再对无人机位姿进行确定和预估,使得无人机能够随着被追踪车辆的移动进行适应性的移动;同时,在对被追踪车辆的追踪过程中,还能实现对障碍物的检测,使得无人机在追踪目标的过程中能够避开障碍物,提高了无人机在执行飞行任务过程中的安全性和稳定性。实现了多个无人机能同时分别进行工作的目的,实现能够自动定位被追踪物体,进一步在定位后能够实现随着被追踪物体的移动进行位移。
[0046] 本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以中所特别指出的结构来实现和获得。
[0047] 下面通过实施例,对本发明的技术方案做进一步的详细描。

实施方案

[0048] 以下对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
[0049] 本发明实施例提供了一种基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法,包括:
[0050] 根据测距传感器对被追踪车辆进行视觉测距,并将视觉测距信息反馈至云端;
[0051] 根据云端存储的视觉测距信息,对被追踪车辆的位姿进行估计,并确定被追踪车辆的位姿;
[0052] 根据被追踪车辆的位姿,进行障碍物检测,根据障碍物检测结果,规划局部路径;
[0053] 在局部路径中确定追踪航点,利用所述追踪航点对无人机的飞行进行引导。
[0054] 本发明中,通过利用视觉测距,实现无人机对被追踪车辆的距离进行监测,进一步利用视觉测距信息对被追踪车辆的位姿进行估计,接着再对无人机位姿进行确定和预估,使得无人机能够随着被追踪车辆的移动进行适应性的移动;同时,在对被追踪车辆的追踪过程中,还能实现对障碍物的检测,使得无人机在追踪目标的过程中能够避开障碍物,提高了无人机在执行飞行任务过程中的安全性和稳定性。实现了多个无人机能同时分别进行工作的目的,实现能够自动定位被追踪物体,进一步在定位后能够实现随着被追踪物体的移动进行位移。
[0055] 在一个实施例中,所述根据测距传感器对被追踪车辆进行视觉测距,并将视觉测距信息反馈至云端包括:
[0056] 获取无人机多个相机的图像信息,将图像信息的内部参数和相机的外部参数进行提取,
[0057] 对多个相机的图像信息进行反转失真,获得初校准图像信息;
[0058] 对多个初校准图像信息进行特征提取,并对提取的相同特征进行匹配,获得二次矫正图像信息;
[0059] 将多个二次矫正图像信息投影到位于进行矫正的多个矫正图像的同一水平面,并通过单应矩阵变形对多个二次矫正图像信息进行三次矫正;
[0060] 利用三次矫正图像信息进行距离测算,获得视觉测距信息。
[0061] 所述无人机多个相机的内部参数包括:焦距和像素信息;
[0062] 所述无人机多个相机的外部参数为世界坐标系中的相机位置和相机旋转方向。
[0063] 所述三次矫正图像信息中包含第一图像组和第二图像组;
[0064] 所述利用三次矫正图像信息进行距离测算,获得视觉测距信息包括:
[0065] 将第一图像组和第二图像组中的当前时刻t和上一时刻t‑1中对应的图像分别进行提取,获得四组图像组;
[0066] 获取四组图像组的特征对应关系中的特征匹配信息;
[0067] 根据特征匹配信息,构建第一图像组和第二图像组的重建场景特征中的重建位置;
[0068] 根据重建位置利用公式(1)进行坐标变换:
[0069]   (1);
[0070] 其中,n为重建位置中存在的点的总和; 为上一时刻t‑1时点q位于重建位置中的位置; 为当前时刻t时点q位于重建位置中的位置;X为重建位置的坐标变换中的旋转动作后的位置,s为重建位置的坐标变换中的平移动作后的位置;
[0071] 若在其中任意一组图像组的中心定义坐标系,且各组图像组被矫正,则获得特征匹配信息的重建位置坐标,如公式(2)所示
[0072] ;
[0073] 其中,(d1,d2)分别为其中一个图像组的特征平面坐标,f为相机焦距,J为多个相机的基线值,c为各图像组上的特征视差,(x,y,z)为重建位置坐标。
[0074] 优选地,根据云端存储的视觉测距信息,对被追踪车辆的位姿进行估计,并确定被追踪车辆的位姿还包括:
[0075] 对重建坐标设定已知的起点,并根据该起点累积帧的变换;若第一帧的位姿为世界坐标系的(0,0,0),则被追踪车辆在当前时刻t的位姿为公式(3):
[0076] ;
[0077] 其中,Ot‑1为3*3矩阵记录在上一时刻t‑1的被追踪车辆方向; qt‑1为3*1矢量记录在上一时刻t‑1的被追踪车辆位姿坐标;Ot为3*3矩阵记录在t时刻的被追踪车辆方向; qt为3*1矢量记录在t时刻的被追踪车辆位姿坐标;Xt为t时刻中重建位置的坐标变换中的旋转参数;st为t时刻中重建位置的坐标变换中的平移参数。
[0078] 该实施例中,在广角图像信息中,广角图像四周的图像信息存在失真,而失真的图像信息则会导致数据的不准确性,通过对失真进行矫正,使得广角图像信息能够更加符合真实的图像信息,减少因图像失真导致无人机定位出现较大偏差的情况;进一步的,对矫正后的图像信息进行特征提取以及坐标变换,使得提取的特征信息能够生成被追踪车辆的位姿坐标;利用被追踪车辆的位姿坐标和无人机的位姿坐标进行相匹配,获得无人机的追踪路径。由此实现无人机自动追踪的目的。
[0079] 在一个实施例中,所述根据被追踪车辆的位姿,进行障碍物检测,根据障碍物检测结果,规划局部路径;还包括:
[0080] 对所述被追踪车辆的位姿和无人机的位姿进行立体匹配,获得实时运行路径;
[0081] 根据被追踪车辆的实时运行路径进行障碍物检测;
[0082] 若无障碍物,则规划无人机飞行路径中存在的多个局部路径。
[0083] 若存在障碍物,则匹配临时路径点m,并计算临时路径点m与当前时刻t的无人机位置距离;
[0084] 对该距离进行网格化,获得多个子网格单元;
[0085] 将多个子网格单元以外的区域定义为无障碍;
[0086] 获取无障碍边界,并将无人机移至无障碍区域。
[0087] 所述在局部路径中确定追踪航点,利用航点进行引导无人机的飞行状态,还包括:
[0088] 将局部路径进行分段,并将每个段中的子局部路径进行提取特征,将多个特征信息定义为航点;
[0089] 将多个航点以时间顺序进行连线,获得航点线路;
[0090] 将航点线路作为无人机飞行状态的引导线路。
[0091] 该实施例中,通过对图像信息中进行障碍物的检测,使得无人机在执行飞行任务过程中能有效的避开障碍物,减少无人机因触碰到障碍物导致毁机的情况;进一步利用避开障碍物的路径重新规划无人机飞行状态的引导路线,即使得该方法在预判到存在障碍物时,即对无人机的下一时刻飞行状态或飞行姿态进行调整,并引导无人机避开障碍物的目的。
[0092] 显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号