[0037] 为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于人工智能的AGV小车磁带干扰物检测方法及系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
[0038] 除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
[0039] 下面结合附图具体的说明本发明所提供的一种基于人工智能的AGV小车磁带干扰物检测方法及系统的具体方案。
[0040] 请参阅图1,其示出了本发明一个实施例提供的基于人工智能的AGV小车磁带干扰物检测方法流程图,该方法包括:
[0041] 步骤S1:当传感器采集信号异常时,获取正视路径下的RGB图像和深度图像。
[0042] AGV小车上的磁感应传感器为包含多个采样点的传感器,一般传感器排布16个采样点,每个10mm排布一个。当传感器采集的信号异常时,AGV小车搭载RGBD相机对当前路径下的进行图像采集,得到RGB图像和包含深度信息的深度图像。相机部署位置为正视视角,事业范围可以覆盖小车前方路况,保证能获得小车正视视角下前方磁带的信息。
[0043] 优选的,通过传感器检测磁感应强度,当传感器采集的磁感应强度忽然降低至预设的磁感应强度阈值,说明当前小车行进位置并未在磁带中心,可通过伺服驱动电机带动驱动力实现差速转向,保证小车及小车上的传感器在磁带中心,在后续分析中排除了小车不在磁带上导致的磁感应强度变化这个因素。
[0044] 在本发明实施例中,磁感应强度阈值设置为80。
[0045] 步骤S2:对RGB图像进行分析处理获得干扰物信息。
[0046] 为了能够获得准确的干扰物信息,首先将RGB图像中的磁带区域作为感兴趣区域。可通过颜色差异划分感兴趣区域,也可以训练神经网络对磁带区域特征进行提取划分感兴趣区域,在此不做限定。
[0047] 得到感兴趣区域后,对感兴趣区域内的RGB图像和深度图像进行干扰物分析,获得干扰物信息。干扰物信息包括干扰物的面积、干扰物到传感器的距离、干扰物磁化程度和干扰映射范围。
[0048] 优选的,提取感兴趣区域内干扰物的颜色、光泽和纹理作为干扰物的特征,判断干扰物是否为金属干扰物。如果为非金属干扰物,说明当前传感器异常信号是因为当前磁带区域是因为本身的磨损老化导致的,只记录当前小车位置,便于后续工作人员进行清理和维护。如果为金属干扰物则记录位置的同时输出干扰物图像。
[0049] 在本发明实施例中,通过使用预先训练好的语义分割网络对感兴趣区域内的图像进行分析获得干扰物图像。语义分割网络的具体训练步骤为:
[0050] 1)获取多个包含金属干扰物的图像作为训练数据。在训练数据内的金属干扰物设置标签。将标签数据和训练数据都经过归一化处理,消除奇异样本数据带来的影响,加快梯度下降求最优解的速度。
[0051] 2)以颜色、光泽和纹理为特征,将归一化处理后的训练数据和标签数据送入网络中。网络采用编码‑解码结构。语义分割编码器对输入的数据进行特征提取,由卷积和下采样操作组成,特征映射不断收缩,尺寸减小。然后通过语义分割解码器通过上采样和跳跃连接将特征尺寸恢复至输入图像大小,上采样操作可以增加特征维度,然后使用1*1卷积将特征向量转换为类别标签,根据类别标签判断干扰物性质。
[0052] 3)网络损失函数采用交叉熵损失函数。
[0053] 干扰物信息具体获得方法为:
[0054] 对干扰物图像进行二值化处理,获得干扰物二值图。在本发明实施例中,表示干扰物的像素点像素值为1。统计所有像素值为1的像素点的数量作为干扰物的面积。
[0055] 通过深度图像中的深度信息获得传感器每个采样点到干扰物的距离,以该距离的均值作为干扰物到传感器的距离。
[0056] 以干扰物图像的左上方为坐标系原点建立坐标系。以干扰物的左上角横坐标和右下角横坐标差值作为干扰物的长度。传感器的长度为固定值。在小车行进过程中,距离干扰物越来越近,在图像中干扰物的长度也越来越长,因此可以根据干扰物长度和传感器长度的比值作为干扰映射范围。
[0057] 干扰物磁化程度与金属性质和温度有关。在本发明实施例中,仓储系统为恒温环境,在检测出干扰物为何种金属后即可获得干扰物磁化程度。
[0058] 步骤S3:利用偏移预测网络处理干扰物信息获得偏移角度并校正小车位置。
[0059] 在本发明实施例中,选用时域卷积网络(TCN)作为偏移预测网络对干扰物信息进行处理,获得偏移角度。
[0060] 偏移预测网络的训练方法为:
[0061] 1)将相机采样速率设置为30帧每秒,连续5秒的历史数据作为一组训练数据集。前4秒的数据作为一个训练数据,第5秒的偏航角度作为标签数据。
[0062] 2)根据干扰物信息将偏移预测网络的输入张量形状设置为[B,4],其中B为所选取的样本数,4为四个输入特征,分别为传感器到金属干扰物的距离、金属干扰物的正射面积、金属干扰物的磁化程度、金属干扰物对传感器作用范围,最终输出为小车通过时的偏航角度,形状为[B,1]。
[0063] 3)采用回归型损失函数对网络进行训练。在本发明实施例中采用方差损失函数。
[0064] 在一个时间段内根据小车左右轮之间的转速和左右轮转向轮的距离可得出小车的偏移半径:
[0065]
[0066] 其中,R为偏移半径,Vl为左轮速度,Vr为右轮速度,L为小车左右轮的距离。
[0067] 根据偏移半径和偏移角度可得出小车在横向和纵向上的偏移量:
[0068] Δx=RsinΔθ
[0069] Δy=R(1‑cosΔθ)
[0070] 其中,Δx为小车在横向上的偏移量,Δy为小车在纵向上的偏移量,R为偏移半径,θ为偏移角度。
[0071] 通过偏移量对小车当前位置做偏移补偿,将小车纠正至路线中央。
[0072] 步骤S4:对采样点灵敏度进行加权调整。
[0073] 小车在运动过程中,因为偏航角度是非线性变化,传感器接受的信号值也在时刻发生变化,因此需要动态的给传感器每一个采样点灵敏度分配权值,使小车平稳的行进。
[0074] 优选的,本发明采用聚类方式,为每一时刻的采样信号进行聚类,聚体步骤如下:
[0075] 1)采集每个采样点的信号值,随机选取一个信号值作为初始聚类中心点K1。
[0076] 2)计算剩余每个信号值距离初始聚类中心点距离D(m)。
[0077] 3)以最大距离D(m)max的信号值作为新类簇中心Ki。根据小车行驶过程中传感器的实时接收信号强度为D(m)max设置信号阈值D。当D(m)max>D时,说明所有类簇中心点已经选取完毕。在本发明实施例中,信号阈值D取5。
[0078] 4)重复2,3操作直到所有类簇中心点都被选出。最终根据收敛结果得到I组信号类簇,每一类簇内部信号点差值不超过5。
[0079] 5)计算每一簇信号值的总值Mj,则每一簇信号值在信号总值中的占比为:
[0080]
[0081] 其中,Mj为每一簇信号值的总值,mi为第i个信号点点的信号值,n为信号点的数量。
[0082] 以信号值比作为传感器信息。
[0083] 通过小车偏移量和偏移角度可以预测出偏移后传感器到干扰物的距离:
[0084]
[0085] 其中,L偏为偏移后传感器到干扰物的距离,L为偏移前传感器到干扰物的距离,ΔL为根据偏移量求出的偏移距离,θ为偏移角度,α为干扰物和传感器的夹角。
[0086] 进一步预测出偏移后每个采样点到干扰物的距离:
[0087]
[0088] 其中,li为偏移后第i个采样点到干扰物的距离,L偏为偏移后传感器到干扰物的距离,L为偏移前传感器到干扰物的距离,θ为偏移角度,α为干扰物和传感器的夹角。
[0089] 因为传感器与干扰物的距离越远,干扰越小,距离越近,干扰越强。因此可得传感器采样点在距离上的权重wi为:
[0090]
[0091] 其中,wi为第i个采样点在距离上的权重,n为采样点数量,li为偏移后第i个采样点到干扰物的距离。
[0092] 根据信号值比和距离上的权重可得最终权重:
[0093]
[0094] 其中,Wi为最终权重,Mj为每一簇信号值的总值,mi为第i个信号点点的信号值,n为信号点的数量,wi为第i个采样点在距离上的权重。
[0095] 分配每个采样点的权重,进而调整传感器的灵敏度,使小车在行进过程中针对干扰物的影响可以平稳的工作。
[0096] 综上所述,本发明实施例通过AGV小车上部署的RGBD相机对小车正视路径的图像进行采集,获得RGB图像和深度图像。通过对RGB图像进行干扰物分析,判断当前路径下的干扰物是否为金属干扰物,如果为金属干扰物,则根据RGB图像和深度图像信息获得干扰物信息。将干扰物信息经过偏移预测网络的处理,获得偏移角度,根据偏移角度矫正小车位置。预测出小车矫正后的传感器的每个采样点和干扰物的预测距离信息,根据距离信息和采样点接收的磁感应强度信息对传感器采样点灵敏度进行加权调整,使小车可以平稳工作。
[0097] 请参阅图2,其示出了本发明一个实施例提供的基于人工智能的AGV小车磁带干扰物检测框图,该系统包括图像采集模块101,图像分析模块102、偏移角度获取模块103和传感器调整模块104。
[0098] 图像采集模块101用于当传感器采集的磁感性强度信号异常时,通过小车搭载的RGBD相机采集正视路径下的RGB图像和深度图像。
[0099] 图像分析模块102用于将RGB图像划分磁带区域作为感兴趣区域,对感兴趣区域内的RGB图像和深度图像进行干扰物分析,获得干扰物图像。根据干扰物图像获得干扰物信息。干扰物信息包括所述干扰物的面积、干扰物到传感器的距离、干扰物磁化程度和干扰映射范围。
[0100] 偏移角度获取模块103用于利用预先训练好的偏移预测网络处理干扰物信息,获得偏移角度。利用偏移角度矫正所述小车位置。
[0101] 传感器调整模块104用于预测小车矫正后的传感器的每个采样点和干扰物的预测距离信息,预测距离信息结合采样点接收的磁感应强度信息对采样点灵敏度进行加权调整。
[0102] 优选的,图像分析模块102还包括语义分割模块。语义分割模块用于提取感兴趣区域内干扰物的颜色、光泽和纹理作为干扰物特征判断干扰物是否为金属干扰物。若干扰物为非金属干扰物,则记录当前小车位置信息。若干扰物为金属干扰物,在记录当前位置信息同时获得干扰物图像。
[0103] 优选的,图像分析模块102还包括干扰映射范围获取模块。干扰映射范围获取模块用于根据干扰物图像中的坐标信息获得干扰物的长度,以传感器的长度和干扰物的长度之比作为干扰映射范围。
[0104] 优选的,传感器调整模块104还包括聚类分析模块。聚类分析模块用于通过聚类分析每个采样点的信号值获得多组信号类簇。计算每一簇信号值在信号总值中的占比,获得信号比值作为磁感应强度信息。
[0105] 优选的,该系统还包括磁带位置矫正模块。磁带位置矫正模块用于在传感器采集磁感应强度信号时,若磁感应强度信号小于预设的磁感应强度阈值,则确定小车不在磁带上,矫正小车位置。
[0106] 需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
[0107] 本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
[0108] 以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。