首页 > 专利 > 江苏庆慈机械制造有限公司 > 基于深度学习的齿轮表面缺陷检测方法与系统专利详情

基于深度学习的齿轮表面缺陷检测方法与系统   0    0

实质审查 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2022-03-31
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2022-08-02
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2042-03-31
基本信息
有效性 实质审查 专利类型 发明专利
申请号 CN202210346765.5 申请日 2022-03-31
公开/公告号 CN114758125A 公开/公告日 2022-07-15
授权日 预估到期日 2042-03-31
申请年 2022年 公开/公告年 2022年
缴费截止日
分类号 G06V10/26G06V10/774G06V10/25G06V10/36G06V10/82G06K9/62G06T7/00G06N3/04G06N3/08 主分类号 G06V10/26
是否联合申请 独立申请 文献类型号 A
独权数量 1 从权数量 9
权利要求数量 10 非专利引证数量 0
引用专利数量 0 被引证专利数量 0
非专利引证
引用专利 被引证专利
专利权维持 99 专利申请国编码 CN
专利事件 事务标签 公开、实质审查
申请人信息
申请人 第一申请人
专利权人 江苏庆慈机械制造有限公司 当前专利权人 江苏庆慈机械制造有限公司
发明人 陈小兰、颜小英 第一发明人 陈小兰
地址 江苏省南通市海门市海门港新区发展大道99号 邮编 226156
申请人数量 1 发明人数量 2
申请人所在省 江苏省 申请人所在市 江苏省南通市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
摘要
本发明涉及机械部件检测技术领域,具体涉及一种基于深度学习的齿轮表面缺陷检测方法与系统。方法包括:利用第一缺陷分割网络对轮齿感兴趣区域图像进行分析,得到齿轮缺陷信息;其中第一缺陷分割网络训练集标签图像的生成过程包括:对训练集中的轮齿感兴趣区域图像中的原始缺陷区域进行改变,并标记变化像素点;根据改变后的缺陷区域从轮齿感兴趣区域图像中获取第一缺陷图像;对第一缺陷图像中变化像素点对应位置进行滤波;分割出滤波后的第一缺陷图像的缺陷区域,并与第一缺陷分割图像进行对比,确定像素的置信度变化值;根据像素的置信度变化值生成第一缺陷分割网络的标签图像。本发明提高了齿轮表面缺陷检测精度。
  • 摘要附图
    基于深度学习的齿轮表面缺陷检测方法与系统
  • 说明书附图:图1
    基于深度学习的齿轮表面缺陷检测方法与系统
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2022-08-02 实质审查的生效 IPC(主分类): G06V 10/26 专利申请号: 202210346765.5 申请日: 2022.03.31
2 2022-07-15 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于深度学习的齿轮表面缺陷检测方法,其特征在于,所述方法包括:
利用第一缺陷分割网络对轮齿感兴趣区域图像进行分析,得到齿轮缺陷信息;其中第一缺陷分割网络训练集标签图像的生成过程包括:
对训练集中的轮齿感兴趣区域图像进行缺陷分割,得到第一缺陷分割图像;
改变第一缺陷分割图像中的原始缺陷区域得到第一缺陷区域,并标记变化像素点;
根据第一缺陷区域从轮齿感兴趣区域图像中获取第一缺陷图像;
对第一缺陷图像中变化像素点对应位置进行滤波,得到第二缺陷图像;
对第二缺陷图像进行缺陷分割,得到第二缺陷分割图像;
对比第一缺陷分割图像与第二缺陷分割图像相同位置像素的类别,确定像素的置信度变化值;根据像素的置信度变化值对像素的初始置信度进行修正,生成第一缺陷分割网络的标签图像。

2.如权利要求1所述的方法,其特征在于,所述对训练数据集中的轮齿感兴趣区域图像进行缺陷分割包括:采用第二缺陷分割网络对训练集中的轮齿感兴趣区域图像进行缺陷分割。

3.如权利要求1所述的方法,其特征在于,所述滤波具体为均值滤波操作。

4.如权利要求1所述的方法,其特征在于,所述根据像素的置信度变化值对像素的初始置信度进行修正,生成第一缺陷分割网络的标签图像包括:
根据像素的置信度变化值对像素的初始置信度进行修正,得到置信度图;
对置信度图进行阈值化处理,得到第一缺陷分割网络的标签图像。

5.如权利要求1所述的方法,其特征在于,所述改变第一缺陷分割图像中的原始缺陷区域包括:
对第一缺陷分割图像中的原始缺陷区域进行膨胀操作。

6.如权利要求1或5所述的方法,其特征在于,所述改变第一缺陷分割图像中的原始缺陷区域包括:
对第一缺陷分割图像中的原始缺陷区域进行腐蚀操作。

7.如权利要求1所述的方法,其特征在于,所述对比第一缺陷分割图像与第二缺陷分割图像相同位置像素的类别,确定像素的置信度变化值包括:
若第一缺陷分割图像与第二缺陷分割图像在变化像素点对应位置的像素类别相同且为非缺陷类别,则置信度变化值为零;
若第一缺陷分割图像与第二缺陷分割图像在变化像素点对应位置的像素类别相同且为缺陷类别,则置信度变化值为正值;
若第一缺陷分割图像在变化像素点对应位置的像素类别为非缺陷类别,第二缺陷分割图像在变化像素点对应位置的像素类别为缺陷类别,则置信度变化值为正值;
若第一缺陷分割图像在变化像素点对应位置的像素类别为缺陷类别,第二缺陷分割图像在变化像素点对应位置的像素类别为非缺陷类别,则置信度变化值为零;
若第一缺陷分割图像与第二缺陷分割图像在非变化像素点对应位置的像素类别不相同,则置信度变化值为负值,否则,置信度变化值为正值。

8.一种基于深度学习的齿轮表面缺陷检测系统,其特征在于,所述系统包括:
第一缺陷分割网络,用于对轮齿感兴趣区域图像进行分析,得到齿轮缺陷信息;
其中,第一缺陷分割网络训练集标签图像的生成过程包括:对训练集中的轮齿感兴趣区域图像进行缺陷分割,得到第一缺陷分割图像;改变第一缺陷分割图像中的原始缺陷区域得到第一缺陷区域,并标记变化像素点;根据第一缺陷区域从轮齿感兴趣区域图像中获取第一缺陷图像;对第一缺陷图像中变化像素点对应位置进行滤波,得到第二缺陷图像;对第二缺陷图像进行缺陷分割,得到第二缺陷分割图像;对比第一缺陷分割图像与第二缺陷分割图像相同位置像素的类别,确定像素的置信度变化值;根据像素的置信度变化值对像素的初始置信度进行修正,生成第一缺陷分割网络的标签图像。

9.如权利要求8所述的系统,其特征在于,所述对训练集中的轮齿感兴趣区域图像进行缺陷分割包括:采用第二缺陷分割网络对训练集中的轮齿感兴趣区域图像进行缺陷分割。

10.如权利要求8所述的系统,其特征在于,所述根据像素的置信度变化值对像素的初始置信度进行修正,生成第一缺陷分割网络的标签图像包括:
根据像素的置信度变化值对像素的初始置信度进行修正,得到置信度图;
对置信度图进行阈值化处理,得到第一缺陷分割网络的标签图像。
说明书

技术领域

[0001] 本发明涉及人工智能、机械部件检测技术领域,具体涉及一种基于深度学习的齿轮表面缺陷检测方法与系统。

背景技术

[0002] 齿轮是非常重要的机械部件,直接影响机器的使用寿命,关系着安全生产。现有的齿轮表面缺陷技术通常通过机器视觉方式进行齿轮表面缺陷进行检测;而实际场景中机器视觉可能具有较好的泛化能力,但往往存在精度不足的问题,难以应用于高精度的缺陷检测任务中。

发明内容

[0003] 为了解决上述技术问题,本发明提供一种基于深度学习的齿轮表面缺陷检测方法,方法包括:
[0004] 利用第一缺陷分割网络对轮齿感兴趣区域图像进行分析,得到齿轮缺陷信息;其中第一缺陷分割网络训练集标签图像的生成过程包括:
[0005] 对训练集中的轮齿感兴趣区域图像进行缺陷分割,得到第一缺陷分割图像;
[0006] 改变第一缺陷分割图像中的原始缺陷区域得到第一缺陷区域,并标记变化像素点;
[0007] 根据第一缺陷区域从轮齿感兴趣区域图像中获取第一缺陷图像;
[0008] 对第一缺陷图像中变化像素点对应位置进行滤波,得到第二缺陷图像;
[0009] 对第二缺陷图像进行缺陷分割,得到第二缺陷分割图像;
[0010] 对比第一缺陷分割图像与第二缺陷分割图像相同位置像素的类别,确定像素的置信度变化值;根据像素的置信度变化值对像素的初始置信度进行修正,生成第一缺陷分割网络的标签图像。
[0011] 进一步地,所述对训练集中的轮齿感兴趣区域图像进行缺陷分割包括:采用第二缺陷分割网络对训练集中的轮齿感兴趣区域图像进行缺陷分割。
[0012] 进一步地,所述滤波具体为均值滤波操作。
[0013] 进一步地,所述根据像素的置信度变化值对像素的初始置信度进行修正,生成第一缺陷分割网络的标签图像包括:
[0014] 根据像素的置信度变化值对像素的初始置信度进行修正,得到置信度图;
[0015] 对置信度图进行阈值化处理,得到第一缺陷分割网络的标签图像。
[0016] 进一步地,所述改变第一缺陷分割图像中的原始缺陷区域包括:对第一缺陷分割图像中的原始缺陷区域进行膨胀操作。
[0017] 进一步地,所述改变第一缺陷分割图像中的原始缺陷区域包括:
[0018] 对第一缺陷分割图像中的原始缺陷区域进行腐蚀操作。
[0019] 进一步地,所述对比第一缺陷分割图像与第二缺陷分割图像相同位置像素的类别,确定像素的置信度变化值包括:
[0020] 若第一缺陷分割图像与第二缺陷分割图像在变化像素点对应位置的像素类别相同且为非缺陷类别,则置信度变化值为零;
[0021] 若第一缺陷分割图像与第二缺陷分割图像在变化像素点对应位置的像素类别相同且为缺陷类别,则置信度变化值为正值;
[0022] 若第一缺陷分割图像在变化像素点对应位置的像素类别为非缺陷类别,第二缺陷分割图像在变化像素点对应位置的像素类别为缺陷类别,则置信度变化值为正值;
[0023] 若第一缺陷分割图像在变化像素点对应位置的像素类别为缺陷类别,第二缺陷分割图像在变化像素点对应位置的像素类别为非缺陷类别,则置信度变化值为零;
[0024] 若第一缺陷分割图像与第二缺陷分割图像在非变化像素点对应位置的像素类别不相同,则置信度变化值为负值,否则,置信度变化值为正值。
[0025] 本发明还提供一种基于深度学习的齿轮表面缺陷检测系统,系统包括:
[0026] 第一缺陷分割网络,用于对轮齿感兴趣区域图像进行分析,得到齿轮缺陷信息;
[0027] 其中,第一缺陷分割网络训练集标签图像的生成过程包括:对训练集中的轮齿感兴趣区域图像进行缺陷分割,得到第一缺陷分割图像;改变第一缺陷分割图像中的原始缺陷区域得到第一缺陷区域,并标记变化像素点;根据第一缺陷区域从轮齿感兴趣区域图像中获取第一缺陷图像;对第一缺陷图像中变化像素点对应位置进行滤波,得到第二缺陷图像;对第二缺陷图像进行缺陷分割,得到第二缺陷分割图像;对比第一缺陷分割图像与第二缺陷分割图像相同位置像素的类别,确定像素的置信度变化值;根据像素的置信度变化值对像素的初始置信度进行修正,生成第一缺陷分割网络的标签图像。
[0028] 进一步地,所述对训练集中的轮齿感兴趣区域图像进行缺陷分割包括:采用第二缺陷分割网络对训练集中的轮齿感兴趣区域图像进行缺陷分割。
[0029] 进一步地,所述根据像素的置信度变化值对像素的初始置信度进行修正,生成第一缺陷分割网络的标签图像包括:
[0030] 根据像素的置信度变化值对像素的初始置信度进行修正,得到置信度图;
[0031] 对置信度图进行阈值化处理,得到第一缺陷分割网络的标签图像。
[0032] 本发明具有如下有益效果:
[0033] 本发明对比齿轮的原始缺陷分割图像与改变缺陷区域得到的第二缺陷分割图像,确定置信度变化值,进一步得到标签图像,提高了轮齿感兴趣区域图像标签图像的精度,无需人为进行标注,自适应地生成精度更高的标注图像,进而有效提高了齿轮表面缺陷的分割精度。本发明基于变化像素点以及非变化像素点的类别变化,并考虑变化像素点邻域像素的影响,确定置信度变化值,提高了置信度图的精度,进而提高了标签图像的精度。

实施方案

[0036] 为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于深度学习的齿轮表面缺陷检测方法与系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一个或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
[0037] 除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
[0038] 本发明所针对的具体场景为:零部件制造场景下,执行齿轮表面缺陷检测任务。在本发明仅针对磨损、磕碰缺陷进行检测,本发明可作为缺陷检测系统的一个模块进行实施。由于磨损和磕碰所产生的缺陷类似,在本申请中视作同类缺陷进行处理。齿轮放置于被检测台上,相机以斜俯视视角采集被检测齿轮的单个齿的图像,视野可覆盖该单齿,相机位姿固定,通过对齿轮进行转动实现对齿轮各个齿的缺陷检测。
[0039] 本发明的主要目的:通过高精度的语义分割网络进行齿轮表面图像的缺陷语义分割。为了实现本发明所述内容,本发明设计了一种基于深度学习的齿轮表面缺陷检测方法与系统。
[0040] 下面结合附图具体的说明本发明所提供的一种基于深度学习的齿轮表面缺陷检测方法与系统的具体方案。
[0041] 实施例1:
[0042] 请参阅图1,其示出了本发明第一个实施例提供的一种基于深度学习的齿轮表面缺陷检测方法的步骤流程图,该方法包括以下步骤:利用第一缺陷分割网络对轮齿感兴趣区域图像进行分析,得到齿轮缺陷信息。
[0043] 第一缺陷分割网络训练集标签图像的生成过程包括:
[0044] (1)对训练集中的轮齿感兴趣区域图像进行缺陷分割,得到第一缺陷分割图像。
[0045] 本实施例采用语义分割网络的方法进行缺陷分割,具体使用第二缺陷分割网络进行分割。第二缺陷分割网络与第一缺陷分割网络所使用的训练集相同。采集多类不同尺寸、不同类型、不同工况的单轮齿图像经感兴趣区域提取获取对应的轮齿感兴趣区域图像组成训练集。
[0046] 其中,对单轮齿图像进行感兴趣区域提取,能够带来的有益效果包括:隔离无关工况对后续语义分割网络的影响。感兴趣区域提取方法具体为:通过边缘检测算法进行边缘提取。边缘检测算法采用如sobel、canny算子均可;对于图像中的每列,均取像素纵坐标最大和最小的边缘点作为轮齿外部边缘点;以轮齿外部边缘点进行连接,连接后内部区域即为感兴趣区域,将单轮齿图像中感兴趣区域外的像素点像素值均置为0,获取仅包含轮齿信息的感兴趣区域图像。
[0047] 获取训练集后,对训练集中轮齿感兴趣区域图像的缺陷像素点进行标注,则第二缺陷分割网络标签图像中,背景像素点像素值为0,非缺陷像素点像素值为1,缺陷像素点像素值为2;至此,获取到多组训练样本和标签,对第二缺陷分割网络进行训练。第二缺陷分割网络架构为编码器‑解码器结构,编码器用于对输入图像提取特征,解码器用于将特征上采样并输出语义分割图;语义分割网络为常用神经网络;将样本作为输入,标签作为输出的监督,通过交叉熵损失函数计算网络输出的损失以指导网络参数的更新。训练完毕后,即获取到训练好的第二缺陷分割网络。
[0048] 将训练集中的轮齿感兴趣区域图像送入训练好的第二缺陷分割网络中,输出对应的第一缺陷分割图像。
[0049] (2)改变第一缺陷分割图像中的原始缺陷区域得到第一缺陷区域,并标记变化像素点。改变第一缺陷分割图像中的原始缺陷区域包括:对第一缺陷分割图像中的原始缺陷区域进行膨胀操作。
[0050] 具体地,将第一缺陷分割图像中像素类别为缺陷的区域,也即像素值为2的像素点集合提取出来,获取到表征原始缺陷区域的第一缺陷二值图像。
[0051] 对第一缺陷二值图像进行膨胀操作获取第二缺陷二值图像,膨胀操作为图像形态学处理的方式,第二缺陷二值图像表征膨胀缺陷区域。
[0052] 第二缺陷二值图像与第一缺陷二值图像对比,可获取膨胀增加像素点(变化像素点)集合即新增缺陷像素点集合(也称为变化像素点集合),膨胀保留像素点集合即原始缺陷像素(非变化像素点)点集合(也称为非变化像素点集合)。
[0053] (3)根据第一缺陷区域从轮齿感兴趣区域图像中获取第一缺陷图像。
[0054] 将第二缺陷二值图像与轮齿感兴趣区域图像相乘,获取第一缺陷图像也可称为膨胀图像。
[0055] (4)对第一缺陷图像中变化像素点对应位置进行滤波,得到第二缺陷图像。
[0056] 对膨胀图像中膨胀增加像素点集合内的各像素点对应位置均以3*3模板进行均值滤波。与现有技术不同的是,此处膨胀增加像素点选取模板内从大到小的前n个像素点的像素值均值赋值给膨胀增加像素点,优选地,n取值为5。
[0057] (5)对第二缺陷图像进行缺陷分割,得到第二缺陷分割图像。
[0058] 将滤波后的膨胀图像称为第二缺陷图像,送入到训练好的第二缺陷分割网络中,输出对应的语义分割图像,称为第二缺陷分割图像。
[0059] (6)对比第一缺陷分割图像与第二缺陷分割图像相同位置像素的类别,确定像素的置信度变化值;根据像素的置信度变化值对像素的初始置信度进行修正,生成第一缺陷分割网络的标签图像。若第一缺陷分割图像与第二缺陷分割图像在变化像素点对应位置的像素类别相同且为非缺陷类别,则置信度变化值为零;若第一缺陷分割图像与第二缺陷分割图像在变化像素点对应位置的像素类别相同且为缺陷类别,则置信度变化值为正值;若第一缺陷分割图像在变化像素点对应位置的像素类别为非缺陷类别,第二缺陷分割图像在变化像素点对应位置的像素类别为缺陷类别,则置信度变化值为正值;若第一缺陷分割图像在变化像素点对应位置的像素类别为缺陷类别,第二缺陷分割图像在变化像素点对应位置的像素类别为非缺陷类别,则置信度变化值为零;若第一缺陷分割图像与第二缺陷分割图像在非变化像素点对应位置的像素类别不相同,则置信度变化值为负值,否则,置信度变化值为正值。
[0060] 具体地,在前标记了变化像素点即膨胀增加像素点、与膨胀保留像素点(非变化像素点)。将第二缺陷分割图像与第一缺陷分割图像标记像素点对应位置的像素进行对比,每个像素点存在如下情况:
[0061] 对于膨胀增加像素点位置,若在第一缺陷分割图像是非缺陷类别,在第二缺陷分割图像为缺陷类别,则该点的缺陷类别置信度增加第一数值,优选地,第一数值取值为0.2;若两张缺陷分割像素点类别一致,均为非缺陷类别,则该点的缺陷类别置信度不变。
[0062] 对于膨胀保留像素点位置,若在第一缺陷分割图像是缺陷类别,在第二缺陷分割图像为非缺陷类别,则该点的缺陷类别置信度下降第二数值,优选地,第二数值取值为0.4;若两张缺陷分割像素点类别一致,均为缺陷类别,则该点的缺陷类别置信度增加第三数值,优选地,第三数值取值为0.2。
[0063] 又由于膨胀增加像素点位置的像素值受若干膨胀保留像素点影响,因此定义置信度传递参数β,优选地,β取值为0.2。对于置信度增加的膨胀增加像素点对应位置v,以传递参数与所增加置信度相乘,再增加到参与v赋值的膨胀保留像素点的置信度,即增加到v的邻域膨胀保留像素点。在本实施例中具体增加到v的邻域像素值最大的5个像素点位置。
[0064] 需要说明的是,置信度范围设置为[0,1],当某个像素点置信度下降至0以下时,令其置信度为0;当某个像素点置信度上升至1以上时,令其置信度为1。
[0065] 根据第一缺陷分割图像进行像素点初始置信度赋值,优选地,缺陷类别像素点初始置信度为0.5,非缺陷类别像素点初始置信度为0。像素点的最终置信度由初始置信度结合置信度变更值确定,确定所有像素点的最终置信度后,对最终置信度图进行阈值分割,以分割后结果作为第一缺陷分割网络的标签图像,第一缺陷分割网络同样采用交叉熵损失函数进行监督。此外,为了提高效率,可以使用第二缺陷分割网络作为基础,对第二缺陷分割网络进行再训练,从而得到训练好的第一缺陷分割网络。
[0066] 训练完毕后,即获取到训练好的第一缺陷语义分割网络;训练好的第一缺陷分割网络使用时输入为轮齿感兴趣区域图像,输出缺陷分割图像,并没有增加额外的计算资源消耗,但相比于现有语义分割结果,也即第一缺陷分割图像,具有更准确的语义分割结果。
[0067] 实施例2:
[0068] 本实施例提供一种基于深度学习的齿轮表面缺陷检测方法。本实施例中,改变第一缺陷分割图像中的原始缺陷区域包括:对第一缺陷分割图像中的原始缺陷区域进行腐蚀操作得到腐蚀缺陷区域。
[0069] 具体地,基于深度学习的齿轮表面缺陷检测方法包括以下步骤:利用第一缺陷分割网络对轮齿感兴趣区域图像进行分析,得到齿轮缺陷信息。
[0070] 第一缺陷分割网络训练集标签图像的生成过程包括:
[0071] (1)对训练集中的轮齿感兴趣区域图像进行缺陷分割,得到第一缺陷分割图像。
[0072] 本实施采用语义分割网络的方法进行缺陷分割,具体使用第二缺陷分割网络进行分割。第二缺陷分割网络与第一缺陷分割网络所使用的训练集相同。采集多类不同尺寸、不同类型、不同工况的单轮齿图像经感兴趣区域提取获取对应的轮齿感兴趣区域图像组成训练集。
[0073] 其中,对单轮齿图像进行感兴趣区域提取,能够带来的有益效果包括:隔离无关工况对后续语义分割网络的影响。感兴趣区域提取方法具体为:通过边缘检测算法进行边缘提取。边缘检测算法采用如sobel、canny算子均可;对于图像中的每列,均取像素纵坐标最大和最小的边缘点作为轮齿外部边缘点;以轮齿外部边缘点进行连接,连接后内部区域即为感兴趣区域,将单轮齿图像中感兴趣区域外的像素点像素值均置为0,获取仅包含轮齿信息的感兴趣区域图像。
[0074] 获取训练集后,对训练集中轮齿感兴趣区域图像的缺陷像素点进行标注,则第二缺陷分割网络标签图像中,背景像素点像素值为0,非缺陷像素点像素值为1,缺陷像素点像素值为2;至此,获取到多组训练样本和标签,对第二缺陷分割网络进行训练。
[0075] 第二缺陷分割网络架构为编码器‑解码器结构,编码器用于对输入图像提取特征,解码器用于将特征上采样并输出语义分割图;语义分割网络为常用神经网络;将样本作为输入,标签作为输出的监督,通过交叉熵损失函数计算网络输出的损失以指导网络参数的更新。训练完毕后,即获取到训练好的第二缺陷分割网络。
[0076] 将训练集中的轮齿感兴趣区域图像送入训练好的第二缺陷分割网络中,输出对应的第一缺陷分割图像。
[0077] (2)改变第一缺陷分割图像中的原始缺陷区域得到第一缺陷区域,并标记变化像素点。改变第一缺陷分割图像中的原始缺陷区域包括:对第一缺陷分割图像中的原始缺陷区域进行腐蚀操作。
[0078] 具体地,将第一缺陷分割图像中像素类别为缺陷的区域,也即像素值为2的像素点集合提取出来,获取到表征原始缺陷区域的第一缺陷二值图像。
[0079] 对第一缺陷二值图像进行腐蚀操作获取第二缺陷二值图像,腐蚀操作为图像形态学处理的方式,第二缺陷二值图像表征腐蚀缺陷区域。
[0080] 第二缺陷二值图像与第一缺陷二值图像对比,可获取腐蚀减少像素点(变化像素点)集合即被腐蚀掉的缺陷像素点集合(也称为变化像素点集合),腐蚀保留像素点(非变化像素点)集合即原始缺陷像素点集合。
[0081] (3)根据第一缺陷区域从轮齿感兴趣区域图像中获取第一缺陷图像。
[0082] 将第二缺陷二值图像与轮齿感兴趣区域图像相乘,获取第一缺陷图像也可称为腐蚀图像。
[0083] (4)对第一缺陷图像中变化像素点对应位置进行滤波,得到第二缺陷图像。
[0084] 对腐蚀图像中腐蚀减少像素点集合内的各像素点对应位置均以3*3模板进行均值滤波,与现有技术不同的是,此处腐蚀减少像素点选取模板内从小到大的前n个像素点的像素值均值赋值给腐蚀减少像素点,优选地,n取值为5。
[0085] (5)对第二缺陷图像进行缺陷分割,得到第二缺陷分割图像。
[0086] 将滤波后的腐蚀图像称为第二缺陷图像,送入到训练好的第二缺陷分割网络中,输出对应的语义分割图像,称为第二缺陷分割图像。
[0087] (6)对比第一缺陷分割图像与第二缺陷分割图像相同位置像素的类别,确定像素的置信度变化值;根据像素的置信度变化值对像素的初始置信度进行修正,生成第一缺陷分割网络的标签图像。若第一缺陷分割图像与第二缺陷分割图像在变化像素点对应位置的像素类别相同且为非缺陷类别,则置信度变化值为零;若第一缺陷分割图像与第二缺陷分割图像在变化像素点对应位置的像素类别相同且为缺陷类别,则置信度变化值为正值;若第一缺陷分割图像在变化像素点对应位置的像素类别为非缺陷类别,第二缺陷分割图像在变化像素点对应位置的像素类别为缺陷类别,则置信度变化值为正值;若第一缺陷分割图像在变化像素点对应位置的像素类别为缺陷类别,第二缺陷分割图像在变化像素点对应位置的像素类别为非缺陷类别,则置信度变化值为零;若第一缺陷分割图像与第二缺陷分割图像在非变化像素点对应位置的像素类别不相同,则置信度变化值为负值,否则,置信度变化值为正值。
[0088] 在前标记了变化像素点即腐蚀减少像素点、与腐蚀保留像素点(即非变化像素点)。将第二缺陷分割图像与第一缺陷分割图像对标记像素点位置的像素进行对比,每个像素点存在如下情况:
[0089] 对于腐蚀减少像素点位置,若在第一缺陷分割图像是缺陷类别,在第二缺陷分割图像为非缺陷类别,则该点的缺陷类别置信度不变;若两张缺陷分割像素点类别一致,均为缺陷类别,则该点的缺陷类别置信度增加第四数值,优选地,第四数值取0.4。
[0090] 对于腐蚀保留像素点位置,若在第一缺陷分割图像是缺陷类别,在第二缺陷分割图像为非缺陷类别,则该点的缺陷类别置信度下降第五数值,优选地,第五数值取0.4;若两张缺陷分割像素点类别一致,均为缺陷类别,则该点的缺陷类别置信度增加第六数值,优选地,第六数值取0.2;
[0091] 又由于腐蚀减少像素点位置的像素值受若干腐蚀保留像素点影响,因此同样采用置信度传递参数β,优选地,β取值为0.2,对于置信度增加的腐蚀减少像素点对应位置q,以传递参数与所增加置信度相乘,再增加到参与q赋值的腐蚀保留像素点的置信度,即增加到q的邻域腐蚀保留像素点。在本实施例中具体增加到q的邻域像素值最小的5个像素点位置。
[0092] 需要说明的是,置信度范围设置为[0,1],当某个像素点置信度下降至0以下时,令其置信度为0;当某个像素点置信度上升至1以上时,令其置信度为1。
[0093] 根据第一缺陷分割图像进行像素点初始置信度赋值,优选地,缺陷类别像素点初始置信度为0.5,非缺陷类别像素点初始置信度为0。像素点的最终置信度由初始置信度结合置信度变更值确定,确定所有像素点的最终置信度后,对最终置信度图进行阈值分割,以分割后结果作为第一缺陷分割网络的标签图像,第一缺陷分割网络同样采用交叉熵损失函数进行监督。
[0094] 训练完毕后,即获取到训练好的第一缺陷语义分割网络;训练好的第一缺陷分割网络使用时输入为待处理图像,输出缺陷分割图像,并没有增加额外的计算资源消耗,但相比于现有语义分割结果,也即第一缺陷分割图像,具有更准确的语义分割结果。
[0095] 实施例3:
[0096] 本实施例提供一种基于深度学习的齿轮表面缺陷检测方法。本实施例中,改变第一缺陷分割图像中的原始缺陷区域包括:对第一缺陷分割图像中的原始缺陷区域进行膨胀操作得到膨胀缺陷区域;对第一缺陷分割图像中的原始缺陷区域进行腐蚀操作得到腐蚀缺陷区域。
[0097] 具体地,基于深度学习的齿轮表面缺陷检测方法包括以下步骤:利用第一缺陷分割网络对轮齿感兴趣区域图像进行分析,得到齿轮缺陷信息。
[0098] 第一缺陷分割网络训练集标签图像的生成过程包括:
[0099] (1)对训练集中的轮齿感兴趣区域图像进行缺陷分割,得到第一缺陷分割图像。
[0100] 本实施采用语义分割网络的方法进行缺陷分割,具体使用第二缺陷分割网络进行分割。第二缺陷分割网络与第一缺陷分割网络所使用的训练集相同。采集多类不同尺寸、不同类型、不同工况的单轮齿图像经感兴趣区域提取获取对应的轮齿感兴趣区域图像组成训练集。
[0101] 其中,对单轮齿图像进行感兴趣区域提取,能够带来的有益效果包括:隔离无关工况对后续语义分割网络的影响。感兴趣区域提取方法具体为:通过边缘检测算法进行边缘提取。边缘检测算法采用如sobel、canny算子均可;对于图像中的每列,均取像素纵坐标最大和最小的边缘点作为轮齿外部边缘点;以轮齿外部边缘点进行连接,连接后内部区域即为感兴趣区域,将单轮齿图像中感兴趣区域外的像素点像素值均置为0,获取仅包含轮齿信息的感兴趣区域图像。
[0102] 获取训练集后,对训练集中轮齿感兴趣区域图像的缺陷像素点进行标注,则第二缺陷分割网络标签图像中,背景像素点像素值为0,非缺陷像素点像素值为1,缺陷像素点像素值为2;至此,获取到多组训练样本和标签,对第二缺陷分割网络进行训练。
[0103] 第二缺陷分割网络架构为编码器‑解码器结构,编码器用于对输入图像提取特征,解码器用于将特征上采样并输出语义分割图;语义分割网络为常用神经网络;将样本作为输入,标签作为输出的监督,通过交叉熵损失函数计算网络输出的损失以指导网络参数的更新。训练完毕后,即获取到训练好的第二缺陷分割网络。
[0104] 将训练集中的轮齿感兴趣区域图像送入训练好的第二缺陷分割网络中,输出对应的第一缺陷分割图像。
[0105] (2)改变第一缺陷分割图像中的原始缺陷区域得到第一缺陷区域,并标记变化像素点。改变第一缺陷分割图像中的原始缺陷区域包括:对第一缺陷分割图像中的原始缺陷区域进行膨胀操作得到膨胀缺陷区域;对第一缺陷分割图像中的原始缺陷区域进行腐蚀操作得到腐蚀缺陷区域。第一缺陷区域包括:膨胀缺陷区域、腐蚀缺陷区域。
[0106] 具体地,将第一缺陷分割图像中像素类别为缺陷的区域,也即像素值为2的像素点集合提取出来,获取到表征原始缺陷区域的第一缺陷二值图像。
[0107] 对第一缺陷二值图像分别进行膨胀操作、腐蚀操作获取第二缺陷二值图像、第三缺陷二值图像,膨胀、腐蚀操作为图像形态学处理的方式,第二缺陷二值图像表征膨胀缺陷区域,第三缺陷二值图像表征腐蚀缺陷区域。
[0108] 第二缺陷二值图像与第一缺陷二值图像对比,可获取膨胀增加像素点(变化像素点)集合即新增缺陷像素点集合,膨胀保留像素点(非变化像素点)集合即原始缺陷像素点集合。第三缺陷二值图像与第一缺陷二值图像对比,可获取腐蚀减少像素点(变化像素点)集合即被腐蚀掉的缺陷像素点集合,腐蚀保留像素点(非变化像素点)集合即原始缺陷像素点集合。
[0109] (3)根据第一缺陷区域从轮齿感兴趣区域图像中获取第一缺陷图像。本实施例中第一缺缺陷图像包括膨胀图像、腐蚀图像。
[0110] 将第二缺陷二值图像与轮齿感兴趣区域图像相乘,获取膨胀图像。
[0111] 将第三缺陷二值图像与轮齿感兴趣区域图像相乘,获取腐蚀图像。
[0112] (4)对第一缺陷图像中变化像素点对应位置进行滤波,得到第二缺陷图像。
[0113] 在膨胀图像中,对膨胀增加像素点集合内的各像素点对应位置均以3*3模板进行均值滤波,与现有技术不同的是,此处膨胀增加像素点选取模板内从大到小的前m个像素点的像素值均值赋值给膨胀增加像素点。优选地,m取值为5。
[0114] 在腐蚀图像中,对腐蚀减少像素点集合内的各像素点对应位置均以3*3模板进行均值滤波,与现有技术不同的是,此处腐蚀减少像素点选取模板内从小到大的前n个像素点的像素值均值赋值给腐蚀减少像素点。优选地,n取值为5。
[0115] 第二缺陷图像包括:滤波后的膨胀图像、滤波后的腐蚀图像。
[0116] (5)对第二缺陷图像进行缺陷分割,得到第二缺陷分割图像。
[0117] 将第二缺陷图像,送入到训练好的第二缺陷分割网络中,输出对应的语义分割图像,称为第二缺陷分割图像。具体地,分别将滤波后的膨胀图像、滤波后的腐蚀图像输入第二缺陷分割网络,得到膨胀对应的第二缺陷分割图像、腐蚀对应的第二缺陷分割图像。
[0118] (6)对比第一缺陷分割图像与第二缺陷分割图像相同位置像素的类别,确定像素的置信度变化值;根据像素的置信度变化值对像素的初始置信度进行修正,生成第一缺陷分割网络的标签图像。若第一缺陷分割图像与第二缺陷分割图像在变化像素点对应位置的像素类别相同且为非缺陷类别,则置信度变化值为零;若第一缺陷分割图像与第二缺陷分割图像在变化像素点对应位置的像素类别相同且为缺陷类别,则置信度变化值为正值;若第一缺陷分割图像在变化像素点对应位置的像素类别为非缺陷类别,第二缺陷分割图像在变化像素点对应位置的像素类别为缺陷类别,则置信度变化值为正值;若第一缺陷分割图像在变化像素点对应位置的像素类别为缺陷类别,第二缺陷分割图像在变化像素点对应位置的像素类别为非缺陷类别,则置信度变化值为零;若第一缺陷分割图像与第二缺陷分割图像在非变化像素点对应位置的像素类别不相同,则置信度变化值为负值,否则,置信度变化值为正值。
[0119] 在前标记了膨胀增加像素点、膨胀保留像素点、腐蚀减少像素点和腐蚀保留像素点。将每张第二缺陷分割图像分别与第一缺陷分割图像对标记像素点位置的像素进行对比,每个像素点存在如下情况:
[0120] (a)比较膨胀对应的第二缺陷分割图像与第一缺陷分割图像。
[0121] 对于膨胀增加像素点位置,若在第一缺陷分割图像是非缺陷类别,在第二缺陷分割图像为缺陷类别,则该点的缺陷类别置信度增加第一数值,优选地,第一数值取值为0.2;若两张缺陷分割像素点类别一致,均为非缺陷类别,则该点的缺陷类别置信度不变。
[0122] 对于膨胀保留像素点位置,若在第一缺陷分割图像是缺陷类别,在第二缺陷分割图像为非缺陷类别,则该点的缺陷类别置信度下降第二数值,优选地,第二数值取值为0.4;若两张缺陷分割像素点类别一致,均为缺陷类别,则该点的缺陷类别置信度增加第三数值,优选地,第三数值取值为0.2。
[0123] 又由于膨胀增加像素点位置的像素值受若干膨胀保留像素点影响,因此定义置信度传递参数β,优选地,β取值为0.2。对于置信度增加的膨胀增加像素点对应位置v,以传递参数与所增加置信度相乘,再增加到参与v赋值的膨胀保留像素点的置信度,即增加到v的邻域膨胀保留像素点。在本实施例中具体增加到v的邻域像素值最大的5个像素点位置。
[0124] (b)比较腐蚀对应的第二缺陷分割图像与第一缺陷分割图像。
[0125] 对于腐蚀减少像素点位置,若在第一缺陷分割图像是缺陷类别,在第二缺陷分割图像为非缺陷类别,则该点的缺陷类别置信度不变;若两张缺陷分割像素点类别一致,均为缺陷类别,则该点的缺陷类别置信度增加第四数值,优选地,第四数值取0.4。
[0126] 对于腐蚀保留像素点位置,若在第一缺陷分割图像是缺陷类别,在第二缺陷分割图像为非缺陷类别,则该点的缺陷类别置信度下降第五数值,优选地,第五数值取0.4;若两张缺陷分割像素点类别一致,均为缺陷类别,则该点的缺陷类别置信度增加第六数值,优选地,第六数值取0.2;
[0127] 又由于腐蚀减少像素点位置的像素值受若干腐蚀保留像素点影响,因此同样采用置信度传递参数β,优选地,β取值为0.2,对于置信度增加的腐蚀减少像素点对应位置q,以传递参数与所增加置信度相乘,再增加到参与q赋值的腐蚀保留像素点的置信度,即增加到q的邻域腐蚀保留像素点。在本实施例中具体增加到q的邻域像素值最小的5个像素点位置。
[0128] 需要说明的是,置信度范围设置为[0,1],当某个像素点置信度下降至0以下时,令其置信度为0;当某个像素点置信度上升至1以上时,令其置信度为1。
[0129] 根据第一缺陷分割图像进行像素点初始置信度赋值,优选地,缺陷类别像素点初始置信度为0.5,非缺陷类别像素点初始置信度为0。像素点的最终置信度由初始置信度结合置信度变更值确定,确定所有像素点的最终置信度后,对最终置信度图进行阈值分割,以分割后结果作为第一缺陷分割网络的标签图像,第一缺陷分割网络同样采用交叉熵损失函数进行监督。此外,为了提高效率,可以使用第二缺陷分割网络作为基础,对第二缺陷分割网络进行再训练,从而得到训练好的第一缺陷分割网络。
[0130] 训练完毕后,即获取到训练好的第一缺陷语义分割网络;训练好的第一缺陷分割网络使用时输入为待处理图像,输出缺陷分割图像,并没有增加额外的计算资源消耗,但相比于现有语义分割结果,也即第一缺陷分割图像,具有更准确的语义分割结果。
[0131] 实施例4:
[0132] 本实施例提供一种基于深度学习的齿轮表面缺陷检测系统。系统包括:第一缺陷分割网络,用于对轮齿感兴趣区域图像进行分析,得到齿轮缺陷信息;其中,第一缺陷分割网络训练集标签图像的生成过程包括:对训练集中的轮齿感兴趣区域图像进行缺陷分割,得到第一缺陷分割图像;改变第一缺陷分割图像中的原始缺陷区域得到第一缺陷区域,并标记变化像素点;根据第一缺陷区域从轮齿感兴趣区域图像中获取第一缺陷图像;对第一缺陷图像中变化像素点对应位置进行滤波,得到第二缺陷图像;将第二缺陷图像输入第二缺陷分割网络,得到第二缺陷分割图像;对比第一缺陷分割图像与第二缺陷分割图像相同位置像素的类别,确定像素的置信度变化值;根据像素的置信度变化值对像素的初始置信度进行修正,生成第一缺陷分割网络的标签图像。
[0133] 需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
[0134] 本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
[0135] 以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

附图说明

[0034] 为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
[0035] 图1为本发明方法流程图。
专利联系人(活跃度排行)
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号