[0003] 本发明的目的在于提供一种基于图像识别的生姜茎叶病虫害识别方法，通过图像识别的 方法，完成生姜种植过程中的病虫害的准确分类和识别。
[0004] 本发明的另一目的在于提供一种基于图像识别的生姜茎叶病虫害识别系统，完成生姜种 植过程中的病虫害的快速、准确识别。
[0005] 本发明目的按如下技术方案实现：
[0006] 一种基于图像识别的生姜茎叶病虫害识别方法，包括一种生姜茎叶病虫害识别深度神经 网络训练方法和一种生姜茎叶病虫害深度神经网络识别方法；
[0007] 上述一种生姜茎叶病虫害识别深度神经网络训练方法，该方法包括：
[0008] 识别训练集中图像中的生姜茎和叶区域；
[0009] 对所述茎和叶的区域进行截取，并做归一化处理，得到茎归一化图像、叶归一化图像；
[0010] 将茎归一化图像和叶归一化图像分别输入到茎病虫害分类深度神经网络和叶病虫害分 类深度神经网络进行训练，得到茎病虫害分类深度神经网络模型和叶病虫害分类深度神经网 络模型；
[0011] 其中，所述茎病虫害分类深度神经网络和叶病虫害分类深度神经网络均采用MobileNet 结构，所述MobileNet结构输入层为卷积层，输出层为全链接层；所述茎病虫害分类深度神 经网络和叶病虫害分类深度神经网络的损失函数均采用triplet函数；所述triple函数连接全 连接层输出；
[0012] 最后，将茎病虫害分类深度神经网络和叶病虫害分类深度神经网络的全链接层输出特征 拼接之后再输入全链接层和softmax损失函数；
[0013] 所述将茎病虫害分类深度神经网络和叶病虫害分类深度神经网络的全链接层输出特征 拼接如下：
[0014]
[0015] 式中， 为茎病虫害分类深度神经网络输出特征， 为 叶病虫害分类深度神经网络输出特征； 为拼接后特征；
[0016] 两个triplet损失函数和softmax损失函数融合为总损失函数：
[0017]
[0018] 其中，La为总损失函数，L1为茎病虫害分类深度神经网络的triplet损失函数，L2为叶 病虫害分类深度神经网络的triplet损失函数，L3为softmax损失函数；λ1，λ2，λ3为对应的 权重值，分别为0.1，0.1，0.8；
[0019] 上述一种生姜茎叶病虫害深度神经网络识别方法，该方法包括：
[0020] 识别训练集中图像中的生姜茎和叶区域；
[0021] 对所述茎和叶的区域进行截取，并做归一化处理，得到茎归一化图像、叶归一化图像；
[0022] 将茎归一化图像和叶归一化图像分别输入到训练后的茎病虫害分类深度神经网络模型 和叶病虫害分类深度神经网络模型，得到识别茎叶病虫害的特征信息；
[0023] 将茎病虫害的特征信息与叶病虫害的特征信息拼接再输入全链接层，对输出全链接层特 征进行判决分类，识别出茎叶病虫害结果。
[0024] 优选的，识别训练集中图像中的生姜茎和叶区域，采用线下训练完成的生姜茎识别模型 和生姜叶识别模型；
[0025] 所述生姜茎识别模型用于图像中生姜茎的识别，输出为生姜茎的匹配矩形框；
[0026] 所述生姜叶识别模型用于图像中生姜叶的识别，输出为生姜叶的匹配矩形框。
[0027] 优选的，对所述茎和叶的区域进行截取，并做归一化处理，得到茎归一化图像和叶归一 化图像，包括：
[0028] 将茎和叶的区域采用矩形框进行截取；
[0029] 将截取的矩形框采用三样条差值方法resize到固定长宽尺度上得到茎归一化图像和叶 归一化图像；
[0030] 优选的，所述茎归一化图像尺度为：宽50，高200；所述叶归一化图像尺度为宽200， 高50。
[0031] 优选的，所述茎归一化图像和叶归一化图像分别输入茎病虫害分类深度神经网络和叶病 虫害分类深度神经网络进行训练，得到茎病虫害分类深度神经网络模型和叶病虫害分类深度 神经网络模型，包括：
[0032] 将归一化后的茎归一化图像和叶归一化图像输入到茎病虫害分类深度神经网络和叶病 虫害分类深度神经网络的第一层卷积层完成卷积运算；
[0033] 将得到的卷积运算结果输入到所述网络的下一级卷积层计算，至第N层卷积层完成卷 积运算，再链接全链接层；
[0034] 将全链接层输出特征与归一化后的茎归一化图像和叶归一化图像的标签输入损失函数， 计算损失值，根据损失值反向传播更新网络参数；
[0035] 根据所述训练结果确定所述茎病虫害分类深度神经网络模型和叶病虫害分类深度神经 网络模型；
[0036] 所述茎归一化图像和叶归一化图像的标签为生姜茎叶病虫害分类，为非负整数，0表示 茎叶无病虫害。
[0037] 根据上述方法，本发明提供了一种基于图像识别的生姜茎叶病虫害识别系统，该系统包 括：茎叶识别模块、图像归一化模块、模型预测模块；其中，
[0038] 所述茎叶识别模块用于获取图像中生姜茎和叶区域；
[0039] 所述图像归一化模块，用于对所述图像中生姜茎和叶区域进行归一化处理，得到茎归一 化图像和叶归一化图像；
[0040] 所述模型预测模块，将茎归一化图像和叶归一化图像分别输入训练后的茎病虫害分类深 度神经网络模型和叶病虫害分类深度神经网络模型，得到识别茎叶病虫害的特征信息；将茎 病虫害的特征信息与叶病虫害的特征信息拼接再输入全链接层，对输出全链接层特征进行判 决分类，识别出茎叶病虫害结果。
[0041] 本发明具有如下有益效果：
[0042] 本发明提供了一种基于图像识别的生姜茎叶病虫害识别方法及系统，通过图像自动识别， 快速、准确完成对生姜种植过程中的病虫害的发生进行分类和判决；该系统的输入为图像， 在生产过程中，生姜种植者获取生姜图像成本较低、快捷，利于生姜种植者的操作及病虫害 的快速确认和分类，使得生姜种植者对种植生姜的病虫害情况快速、充分了解，及时合理采 取应对措施。
