首页 > 专利 > 江苏大学 > 一种基于机器视觉的轮胎吊行走系统自动纠偏方法专利详情

一种基于机器视觉的轮胎吊行走系统自动纠偏方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2017-02-09
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2017-07-21
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2018-02-27
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2037-02-09
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201710070800.4 申请日 2017-02-09
公开/公告号 CN106892356B 公开/公告日 2018-02-27
授权日 2018-02-27 预估到期日 2037-02-09
申请年 2017年 公开/公告年 2018年
缴费截止日
分类号 B66C13/48B66C9/16B66C13/16G06K9/00G06K9/32 主分类号 B66C13/48
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 5
权利要求数量 6 非专利引证数量 0
引用专利数量 5 被引证专利数量 0
非专利引证
引用专利 CN102060234A、CN105438998A、CN201882785U、CN201280386Y、SU1440853A1 被引证专利
专利权维持 1 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 江苏大学 当前专利权人 江苏大学
发明人 赵德安、刘晓洋、陈玉 第一发明人 赵德安
地址 江苏省镇江市京口区学府路301号 邮编 212013
申请人数量 1 发明人数量 3
申请人所在省 江苏省 申请人所在市 江苏省镇江市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
摘要
本发明公开了一种基于机器视觉的轮胎吊行走系统自动纠偏方法,选择轮胎吊一侧作为引导侧,在其前后分别安装一个摄像头并进行校准;采集图像并进行适当的预处理;建立BP神经网络并选取像素点集进行多次训练;挑选测试误差最小的网络对图像进行识别;将识别后的图像简化为一系列离散的点,采用Hough变换和最小二乘法进行直线检测并将所检测直线合并为一条作为规划路径;拼接前后摄像头的图像,并以拼接后图像的左上角为原点建立新的坐标系并重新建立两条规划路径方程;计算两条规划路径在极坐标参数空间的欧氏距离,若距离大于设定值,则重新校准摄像头,否则合并两条规划路径;计算规划路径与图像纵向中线的夹角和交点位置并制定纠偏策略。
  • 摘要附图
    一种基于机器视觉的轮胎吊行走系统自动纠偏方法
  • 说明书附图:图1
    一种基于机器视觉的轮胎吊行走系统自动纠偏方法
  • 说明书附图:图2
    一种基于机器视觉的轮胎吊行走系统自动纠偏方法
  • 说明书附图:图3
    一种基于机器视觉的轮胎吊行走系统自动纠偏方法
  • 说明书附图:图4
    一种基于机器视觉的轮胎吊行走系统自动纠偏方法
  • 说明书附图:图5
    一种基于机器视觉的轮胎吊行走系统自动纠偏方法
  • 说明书附图:图6
    一种基于机器视觉的轮胎吊行走系统自动纠偏方法
  • 说明书附图:图7
    一种基于机器视觉的轮胎吊行走系统自动纠偏方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2018-02-27 授权
2 2017-07-21 实质审查的生效 IPC(主分类): B66C 13/48 专利申请号: 201710070800.4 申请日: 2017.02.09
3 2017-06-27 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于机器视觉的轮胎吊行走系统自动纠偏方法,其特征在于,包括以下步骤:
(a)选择轮胎吊行走系统一侧作为引导侧,在其前后位置分别安装一个同一型号和配置的摄像头并进行校准;中摄像头的安装和校准,前后摄像头应安装在引导侧前后的同一高度并与水平面所夹角度一致,具体校准步骤如下:Stepa1:令轮胎吊的引导侧中心位于引导线上并使引导侧所在直线与引导线所夹角度大于15度;Stepa2:前后摄像头分别采集图像并进行预处理,延长每幅图像中的引导线和图像纵向中线使其相交于图像外;Stepa3:测定交点到图像的距离分别计为l1、l2,若二者不一致,则调整摄像头使其一致并计为l;
(b)对采集到的图像通过适当的图像预处理得到特定大小和分辨率的待检测图像;
(c)建立BP神经网络并选取大量像素点集进行多次训练;
(d)选取测试误差最小的网络对图像进行识别,所述的图像识别是将每个像素点及其周边一定范围内像素点的RGB值输入神经网络进行判别;
(e)将识别后的图像简化为一系列离散的点,采用混合Hough变换和最小二乘的方法对图像进行直线检测,通过取所检测到直线对应参数的平均值将检测到的直线合并,并作为规划路径;
(f)拼接前后摄像头的图像,以拼接后图像的左上角为原点建立新的坐标系并重新建立两条规划路径的方程;
(g)将两条规划路径参数转换到极坐标参数空间,分别表示为(ρ1,θ1),(ρ2,θ2),计算两点的欧氏距离,若距离大于设定值,则前后摄像头位置有变动需要重新进行校准,否则合并两条规划路径方程为一条;
(h)根据引导侧的中心和规划路径的位置关系以及规划路径与图像纵向中线的夹角制定纠偏策略。

2.根据权利要求1所述的方法,其特征在于,所述步骤b中预处理是指将采集到的大幅面高分辨率图像进行分辨率降低并截取感兴趣区域,若图像噪声严重还要进行图像滤波处理。

3.根据权利要求1所述的方法,其特征在于,所述步骤c中所述的BP神经网络的建立和训练,建立输入层节点为75,输出层节点数为1的BP神经网络,选取大量引导线上大小为5*5的像素点集和引导线外大小为5*5的像素点集并将其分别作为正例和反例对神经网络进行训练,此正反例选取应包括各种工况条件下拍摄的图像,且各种工况下选取的正反例数量需要达到一定数量级。

4.根据权利要求1所述的方法,其特征在于,所述步骤e中图像简化和混合Hough变换和最小二乘的直线检测方法,其中图像简化的方法如下:
Stepe1:对识别得到的二值图像每隔5个像素点的宽度取一条横向直线;
Stepe2:取该直线上每个连通区的中点来简化二值图像;
混合Hough变换和最小二乘的直线检测方法如下:
Step1:将简化图像中的点由直角坐标图像空间向极坐标参数空间转换;
Step2:对参数空间进行极大值抑制并选取参数空间值大于最大值0.3倍的点;
Step3:计算选取点对应的图像空间的像素点和直线方程;
Step4:剔除横向或接近横向分布的直线和对应像素点过少的直线;
Step5:对直线方程参数接近而对应像素点不一致的直线进行合并;
Step6:选取距离每条所检测直线一定距离的点,重新进行最小二乘直线拟合。

5.根据权利要求1所述的方法,其特征在于,所述步骤f中图像拼接,保持前摄像头图像不变,后摄像头图像旋转180度后放置于前摄像头图像正下方并间隔2*l。

6.根据权利要求1所述的方法,其特征在于,所述步骤h中纠偏策略的制定,具体方式如下:
首先定义规划路径和图像纵向中线的夹角取值范围是[-90,90),位于图像中线右侧为正,左侧为负;
规划路径与拼接图像纵向中线的交点位于拼接图像中心上方,左右轮胎同速运动;
规划路径与拼接图像纵向中线的交点位于拼接图像中心或者其下方且夹角为正,左侧轮胎速度大于右侧轮胎速度,使轮胎吊向右偏转;
规划路径与拼接图像纵向中线的交点位于拼接图像中心或者其下方且夹角为负,右侧轮胎速度大于左侧轮胎速度,使轮胎吊向左偏转;
规划路径与图像纵向中线平行,若规划路径位于图像纵向中线右侧,则左侧轮胎速度大于右侧轮胎速度,使轮胎吊向右偏转;若规划路径位于图像纵向中线左侧,右侧轮胎速度大于左侧轮胎速度,使轮胎吊向左偏转;
规划路径与图像纵向中线完全重合,左右轮胎同速运动。
说明书

技术领域

[0001] 本发明涉及机器视觉和图像识别领域,特别是一种基于机器视觉的车辆导航方法。

背景技术

[0002] 轮胎吊具有转场机动灵活,在港口不受定点作业区域限制,能够提高港口设备利用率,减少港口起重机配置数量等特点。然而随着物流的快速发展和人工成本的上升,对轮胎吊的使用效率提出更高的要求。传统的轮胎吊行驶过程中是司机通过肉眼观察地面的引导线采用人工手动纠偏方式,以确保轮胎吊在规定跑道上安全行驶。此种驾驶方式效率不高且需要司机全神贯注,对精力消耗较大,易造成误操作或操作不当从而发生碰撞等事故。
[0003] 因此实现轮胎吊行走系统的自动纠偏具有重要意义,能够进一步提高工作效率。GPS载波相位差分定位技术是一种已在运用的可以为轮胎吊提供定位导航和自动纠偏的技术。然而该技术方案需要在堆场建造GPS基准站和移动站并在轮胎吊上安装差分接收天线等设备,设备投资大、技术要求高,而且为了减少轮胎吊本体对GPS信号的屏蔽影响,GPS天线需安装在轮胎吊顶端,距地面高度可达15m-20m,定位精度受堆场地面水平度影响较大。
因此本发明提出基于机器视觉的轮胎吊自动纠偏方法,通过摄像头的识别轮胎吊引导线并据此计算规划路径制定纠偏策略。相较于采用GPS载波相位差分技术,该方案更为经济。尽管在大雪大雾等天气状况下,会限制摄像头的视野影响摄像头的正常工作,本发明对天气有较好的鲁棒性,在不形成大范围积水、积雪和可见范围足够的雨雾天气仍能正常识别引导线。

发明内容

[0004] 本发明的目的是提供一种基于机器视觉的轮胎吊行走系统自动纠偏方法,能通过摄像头有效检测轮胎吊行走系统的引导线并计算规划路径制定纠偏策略。
[0005] 1.本发明解决其技术问题所采用的技术方案包括以下步骤:
[0006] (a)选择选择轮胎吊行走系统一侧作为引导侧,在其前后位置分别安装一个同一型号和配置的摄像头并进行校准;
[0007] (b)对采集到的图像通过适当的图像预处理得到特定大小和分辨率的待检测图像;
[0008] (c)建立BP神经网络并选取大量像素点集进行多次训练;
[0009] (d)选取测试误差最小的网络对图像进行识别,所述的图像识别是将每个像素点及其周边范围内像素点的RGB值输入神经网络进行判别;
[0010] (e)将识别后的图像简化为一系列离散的点,采用混合Hough变换和最小二乘的方法对图像进行直线检测,通过取所检测到直线对应参数的平均值将检测到的直线合并,并作为规划路径;
[0011] (f)拼接前后摄像头图像,以拼接后图像的左上角为原点建立新的坐标系并重新建立两条规划路径的方程;
[0012] (g)将两条规划路径参数转换到极坐标参数空间,分别表示为(ρ1,θ1),(ρ2,θ2),计算两点的欧氏距离,若距离大于设定值,则前后摄像头位置有变动需要重新进行校准,否则合并两条规划路径方程为一条;
[0013] (h)根据引导侧的中心和规划路径的位置关系以及规划路径与图像纵向中线的夹角制定纠偏策略。
[0014] 进一步,所述步骤a中所述的摄像头的安装和校准,前后摄像头应安装在引导侧前后的同一高度并与水平面所夹角度一致,具体校准步骤如下:
[0015] Step1:令轮胎吊的引导侧中心位于引导线上并使引导侧所在直线与引导线所夹角度大于15度;
[0016] Step2:前后摄像头分别采集图像并进行预处理,延长每幅图像中的引导线和图像纵向中线使其相交于图像外。
[0017] Step3:测定交点到图像的距离分别计为l1、l2,若二者不一致,则调整摄像头使其一致并计为l;
[0018] 进一步,所述步骤b中所述的预处理是指将采集到的大幅面高分辨率图像进行分辨率降低并截取感兴趣区域,若图像噪声严重还要进行图像滤波处理。
[0019] 进一步,所述步骤c中所述的BP神经网络的建立和训练,建立输入层节点为75,输出层节点数为1的BP神经网络,选取大量引导线上大小为5*5的像素点集和引导线外大小为5*5的像素点集并将其分别作为正例和反例对神经网络进行训练,此正反例选取应包括各种工况条件下拍摄的图像,且各种工况下选取的正反例数量需要达到一定数量级。
[0020] 进一步,所述步骤e中所述的图像简化和混合Hough变换和最小二乘的直线检测方法,其中图像简化的方法如下:
[0021] Step1:对识别得到的二值图像每隔5个像素点的宽度取一条横向直线;
[0022] Step2:取该直线上每个连通区的中点来简化二值图像。
[0023] 混合Hough变换和最小二乘的直线检测方法如下:
[0024] Step1:将简化图像中的点由直角坐标图像空间向极坐标参数空间转换;
[0025] Step2:对参数空间进行极大值抑制并选取参数空间值大于最大值0.3倍的点;
[0026] Step3:计算选取点对应的图像空间的像素点和直线方程;
[0027] Step4:剔除横向或接近横向分布的直线和对应像素点过少的直线;
[0028] Step5:对直线方程参数接近而对应像素点不一致的直线进行合并;
[0029] Step6:选取距离每条所检测直线一定距离的点,重新进行最小二乘直线拟合。
[0030] 进一步,所述步骤f中所述的图像拼接是,保持前摄像头图像不变,后摄像头图像旋转180度后放置于前摄像头图像正下方并间隔2*l。
[0031] 进一步,所述步骤h中纠偏策略的制定,具体方式如下:
[0032] 首先定义规划路径和图像纵向中线的夹角取值范围是[-90,90),位于图像中线右侧为正,左侧为负;
[0033] (1)规划路径与拼接图像纵向中线的交点位于拼接图像中心上方,左右轮胎同速运动;
[0034] (2)规划路径与拼接图像纵向中线的交点位于拼接图像中心或者其下方且夹角为正,左侧轮胎速度大于右侧轮胎速度,使轮胎吊向右偏转;
[0035] (3)规划路径与拼接图像纵向中线的交点位于拼接图像中心或者其下方且夹角为负,右侧轮胎速度大于左侧轮胎速度,使轮胎吊向左偏转;
[0036] (4)规划路径与图像纵向中线平行,若规划路径位于图像纵向中线右侧,则左侧轮胎速度大于右侧轮胎速度,使轮胎吊向右偏转;若规划路径位于图像纵向中线左侧,右侧轮胎速度大于左侧轮胎速度,使轮胎吊向左偏转;
[0037] (5)规划路径与图像纵向中线完全重合,左右轮胎同速运动。
[0038] 本发明的有益效果是:
[0039] 相较于基于GPS的纠偏导航技术,基于机器视觉的自动纠偏方法能有效降低轮胎吊自动导航纠偏的成本。同时为克服恶劣天气对摄像头识别引导线的影响,本发明采用神经网络对各种工况下的图像进行训练,因此对多种恶劣工况和天气具有较强的鲁棒性。即使引导线上有车痕、油污、褪色等情况,依然能准确识别。此外在不形成大范围积水、积雪和可见范围足够的雨雾天气仍能正常识别引导线,不影响轮胎吊正常工作。

实施方案

[0047] 下面结合附图对本发明的具体实施方式做进一步描述。
[0048] 本发明以轮胎吊行走系统为控制对象,该系统以PLC控制电路为核心并包含转向器、车轮、驱动器等机械结构。具体实施方案中,通过加装机器视觉单元判断轮胎吊的姿态和下一步运动方向并将结果传输给PLC控制单元,从而实现轮胎吊行走系统的纠偏。该机器视觉单元通过前后两个摄像头采集图像并传输到工控机中进行处理,最后将处理结果传输到PLC。
[0049] 具体实施步骤主要分为图像预处理、引导线识别、图像拼接、制定纠偏策略四个部分。图像预处理主要是对采集的图像进行滤波去噪,将图像分辨率降低到大小并截取感兴趣区域;引导线的识别采用BP神经网络进行训练和识别并通过Hough变换和最小二乘法进行进一步的检测;图像拼接是将前后摄像头拍摄的图像拼接成一幅图像;最后根据引导侧的中心和规划路径的位置关系以及规划路径与图像纵向中线的夹角制定纠偏策略。具体如下:
[0050] 1、图像预处理
[0051] 1.1安装并校准摄像头
[0052] 将两个同一型号和配置的CCD摄像头分别安装在在轮胎吊一侧的轮胎上方前后位置的同一高度并分别与水平面所夹角度一致。为确保安装正确,需要进行必要的校准:
[0053] Step1:令轮胎吊的引导侧中心位于引导线上并使引导侧所在直线与引导线所夹角度大于15度;
[0054] Step2:前后摄像头分别采集图像并进行预处理,延长每幅图像中的引导线和图像纵向中线使其相交于图像外(如图1所示)。
[0055] Step3:测定交点到图像的距离分别计为l1、l2,若二者不一致,则调整摄像头使其一致并计为l;
[0056] 1.2图像获取与预处理
[0057] 设置摄像头的帧率为30fps,设置图像分辨率为1280*960,设置图像ROI为图像中心350*650的区域。每隔3帧采集一副图像,并将图像缩小为175*325,然后采用3*3模板的中值滤波进行中值滤波,最后得到的待处理图像如图2所示。
[0058] 2、引导线识别
[0059] 2.1训练BP神经网络
[0060] 首先,选取应包括各种工况条件下拍摄的图像共500张,包括晴天的各个时段,阴天,夜晚(有辅助光源),雨,雾,雪(不造成地面积雪情况)等。然后在每一副图像中选取引导线上大小为5*5的像素点集作为BP神经网络训练的正例,选取图像中非引导线部分大小为5*5的像素点集作为BP神经网络训练的反例。每一副图像采集正、反例的数量各为15~25个,500张图像共计采集正例11342个,反例10975个。
[0061] 建立输入层节点为75,输出层节点数为1,隐含层节点为172的BP神经网络。神经网络隐含层的传递函数为双极性S函数,输出层传递函数为线性函数。将每一个正例或反例数据按列存储为75*1的格式并输入已经建立的神经网络进行训练,共训练20次并统计每个训练成功网络的测试误差。
[0062] 2.2图像识别
[0063] 选取测试误差最小的神经网络对图像中的每个像素进行判别,并将判别结果进行二值化得到识别后的二值图像,如图3所示。对于识别得到的二值图像每隔5个像素点的宽度取一条横向直线并取该直线上每个连通区的中点来简化二值图像,如图4所示。图中的“*”表示简化后的点。
[0064] 2.3引导线检测
[0065] 采用Hough变换对简化后的二值图像进行直线检测并选取距离每条所检测直线一定距离的点,重新进行最小二乘直线拟合,检测结果如图5所示。图中的四条直线段表示检测到的引导线。Hough变换的基础上对检测的直线进行进一步约束的直线检测方法,包括以下步骤:
[0066] 混合Hough变换和最小二乘的直线检测方法如下:
[0067] Step1:将简化图像中的点由直角坐标图像空间向极坐标参数空间转换;
[0068] Step2:对参数空间进行极大值抑制并选取参数空间值大于最大值0.3倍的点;
[0069] Step3:计算选取点对应的图像空间的像素点和直线方程;
[0070] Step4:剔除横向或接近横向分布的直线和对应点数小于10的直线;
[0071] Step5:对直线方程参数接近而对应像素点不一致的直线进行合并;
[0072] Step6:选取距离每条所检测直线一定距离的点,重新进行最小二乘直线拟合。
[0073] 通过取所检测到直线对应参数的平均值将检测到的直线合并,并作为规划路径。
[0074] 3图像拼接
[0075] 图像拼接是融合前后摄像头的检测的信息,以便对摄像头位置状态进行自检并为确定轮胎吊姿态和纠偏策略的制定提供帮助。
[0076] 图像拼接方法是保持前摄像头图像不变,后摄像头图像旋转180度后放置于前摄像头图像正下方并间隔2*l。以拼接后图像的左上角为原点建立新的坐标系并重新建立两条规划路径的方程(如图6所示)。将两条规划路径参数转换到极坐标参数空间(如图7所示),分别表示为(ρ1,θ1),(ρ2,θ2),计算两点的欧氏距离,若距离大于设定值,则前后摄像头位置有变动需要重新进行校准,否则合并两条规划路径方程为一条。
[0077] 4制定纠偏策略
[0078] 根据引导侧的中心和规划路径的位置关系以及规划路径与图像纵向中线的夹角制定纠偏策略。首先定义规划路径和图像纵向中线的夹角取值范围是[-90,90),位于图像中线右侧为正,左侧为负。
[0079] (1)规划路径与拼接图像纵向中线的交点位于拼接图像中心上方,左右轮胎同速运动;
[0080] (2)规划路径与拼接图像纵向中线的交点位于拼接图像中心或者其下方且夹角为正,左侧轮胎速度大于右侧轮胎速度,使轮胎吊向右偏转;
[0081] (3)规划路径与拼接图像纵向中线的交点位于拼接图像中心或者其下方且夹角为负,右侧轮胎速度大于左侧轮胎速度,使轮胎吊向左偏转;
[0082] (4)规划路径与图像纵向中线平行,若规划路径位于图像纵向中线右侧,则左侧轮胎速度大于右侧轮胎速度,使轮胎吊向右偏转;若规划路径位于图像纵向中线左侧,右侧轮胎速度大于左侧轮胎速度,使轮胎吊向左偏转;
[0083] (5)规划路径与图像纵向中线完全重合,左右轮胎同速运动。
[0084] 在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0085] 尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

附图说明

[0040] 图1:前摄像头校准示意图
[0041] 图2:预处理后的图像
[0042] 图3:神经网络识别的位置图像
[0043] 图4:二值图像简化效果图
[0044] 图5:直线检测效果图
[0045] 图6:拼接图像示意图
[0046] 图7:直线变换参数示意图
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号