基于深度学习的苹果叶片病害分类方法及其自动识别装置[发明专利]_百

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号

CN 110097104 A

(43)申请公布日

2019.08.06

(21)申请号 2.5

(22)申请日 2019.04.22

(71)申请人 安徽大学

地址 230601 安徽省合肥市九龙路111号安

徽大学磬苑校区理工C楼

(72)发明人 陈鹏　方桃　章军　王兵　

(74)专利代理机构 北京和信华成知识产权代理

事务所(普通合伙) 11390

代理人 胡剑辉

(51).

G06K

9/62

(2006.01)

权利要求书2页 说明书6页 附图2页

(54)发明名称

基于深度学习的苹果叶片病害分类方法及

其自动识别装置

(57)摘要

本发明公开基于深度学习的苹果叶片病害

分类方法及其自动识别装置，属于图像分类领

域，用于解决现有技术中难以对拍摄的苹果图片

进行病害识别和快速有效分类的问题，基于深度

学习的苹果叶片病害分类方法，是在Vgg16网络

模型的基础上进行改进的，改进的方法包括：在

Vgg16模型的基础上，每个卷积层中添加了批标

准化层；批标准化层的加入，不仅加速了网络模

型的训练速度，在分类精度上也有所提升；在损

失函数方面，加入了新的辅助损失函数，使学习

到的特征更有区分度；该装置可以将拍摄的叶片

数据传输到分类器中进行自动识别，具有识别精

度高和易于操作的优点。

C

N

1

1

0

0

9

7

1

0

4

A

CN 110097104 A

权　利　要　求　书

1/2页

1.基于深度学习的苹果叶片病害分类方法，其特征在于，包括以下步骤：

S1：对叶片病害进行分类标签，并划分训练集和测试集；

S2：在Vgg16模型上加入批标准化层；

S3：在softmax loss函数基础上，加入了新的辅助损失函数center loss；

S4：将分类标签好的图片放入改进的模型中进行训练。

2.根据权利要求1所述的基于深度学习的苹果叶片病害分类方法，其特征在于，所述S2

中批标准化的算法如下：

其中，式中μ和σ分别为批次均值和方差；

其中，式中ε为预设常量；

yi＝γ

i

x

i

+β (4)

i

β (6)

i

＝E[x

i

]

其中，式中Var为方差函数，E为均值函数。

3.根据权利要求1所述的基于深度学习的苹果叶片病害分类方法，其特征在于，所述S3

中softmax loss函数公式如下：

辅助损失函数center loss函数公式如下：

其中，c

yi

代表第yi类深度特征的类心，x

i

表示全连接层之前的特征，m表示mini-batch

的大小；总的损失函数如下：

其中，m1表示mini-batch的包含的样本数量，n表示类别数，超参数λ是用来控制两个损

失函数之间的比重。

4.基于深度学习的苹果叶片病害分类的自动识别装置，其特征在于，该自动识别装置

包括数据采集器和地面终端；

2

CN 110097104 A

权　利　要　求　书

2/2页

所述数据采集器包括图片采集模块、数据编码模块、本地存储模块和数据传输模块；所

述图片采集模块用于对苹果叶片进行拍摄图片并发送至数据编码模块；所述数据编码模块

用于对接收的苹果叶片图片进行无损压缩处理并发送至本地存储模块；本地存储模块接收

无损压缩处理后的苹果叶片图片进行存储；数据编码模块通过数据传输模块将无损压缩处

理后的苹果叶片图片发送至地面终端内部的数据解码模块；

所述地面终端包括数据解码模块、分类模块、终端存储模块和信息显示模块；所述数据

解码模块用于对经数据编码模块无损压缩处理后的苹果叶片图片进行无损解压并发送至

分类模块；所述分类模块的内部嵌有用于对苹果叶片图像进行分类的苹果叶片病害分类神

经网络模型，分类模块接收数据解码模块解压后的苹果叶片图片以及分类后的苹果叶片图

片发送至终端存储模块；信息显示模块；所述终端存储模块接收分类模块发送的解压后的

苹果叶片图片以及分类后的苹果叶片图片并进行存储；分类模块将分类后的苹果叶片图片

发送至信息显示终端；所述终端存储模块发送解压后的苹果叶片图片至信息显示终端；所

述信息显示终端用于显示苹果叶片图片及苹果叶片图片分类结果。

3

CN 110097104 A

说　明　书

1/6页

基于深度学习的苹果叶片病害分类方法及其自动识别装置

技术领域

[0001]

本发明属于图像识别技术领域，尤其涉及基于深度学习的苹果叶片病害分类方法

及其自动识别装置。

背景技术

[0002]

苹果，是生活中最为普遍的水果之一，但却对于人体健康来说有着重要的作用。苹

果在种植及其生产过程中，由于对外界环境的不适应性和受到其他生物的侵染，很容易发

生病害。一旦出现病害，将对苹果的产量和品质造成严重的影响。因此，早期发现和诊断这

些疾病是至关重要的。由于苹果病害种类繁多，仅靠人工肉眼观察及经验判断很容易发生

误诊，导致植物病害得不到及时诊治。治理植物病害的关键因素是快速且精确的诊断出病

害类型，从而采取及时有效的防治措施，避免农药的错误使用。

[0003]

随着计算机技术的发展，关于植物叶片病害的智能识别研究也取得了良好的进

展。大多数研究均是通过人工手动提取植物图像的特征，再结合不同分类器来对病害进行

识别。虽然获得了较好的识别效果，但由于现实中病害图片的复杂多样性，很难选择出对病

害类型识别贡献较大的有用特征。且随着图片数据的快速增长，人工获取的特征越来越难

以满足实际植物病害识别的需求。在此背景下，基于计算机视觉的图像分类技术就显得尤

为重要，尤其是近年来，人工智能技术的迅速发展，基于深度卷积神经网络来提取图像的深

度特征被证明是有效的。深度卷积神经网络属于端到端的策略，可以实现图像特征的高效

自动学习和分类。然而，深度卷积神经网络的训练过程中仍存在网络训练收敛时间长、调参

过程复杂、识别精度不高等问题。

发明内容

[0004]

本发明提供了基于深度学习的苹果叶片病害的分类方法及其自动识别装置，以解

决现有技术中难以对拍摄的苹果图片进行病害识别和快速有效分类的问题；

[0005]

本发明的目的可以通过以下技术方案实现：基于深度学习的苹果叶片病害分类方

法，包括以下步骤：

[0006]

S1：对叶片病害进行分类标签，并划分训练集和测试集；

[0007]

S2：在Vgg16模型上加入批标准化层；

[0008]

S3：在softmax loss函数基础上，加入了新的辅助损失函数center loss；

[0009]

S4：将分类标签好的图片放入改进的模型中进行训练；

[0010]

优选的，所述S2中批标准化的算法如下：

[0011]

[0012]

[0013]

其中，式中μ和σ分别为批次均值和方差；

4

CN 110097104 A

[0014]

[0015]

[0016]

[0017]

[0018]

[0019]

[0020]

说　明　书

2/6页

其中，式中ε为预设常量；

yi＝γ

i

x

i

+β (4)

i

β (6)

i

＝E[x

i

]

其中，式中Var为方差函数，E为均值函数；

优选的，所述S3中softmax loss函数公式如下：

[0021]

[0022]

[0023]

[0024]

辅助损失函数center loss函数公式如下：

其中，c

yi

代表第yi类深度特征的类心，xi表示全连接层之前的特征，m表示mini-

batch的大小；总的损失函数如下：

[0025]

其中，m1表示mini-batch的包含的样本数量，n表示类别数，超参数λ是用来控制两

个损失函数之间的比重；

[0027]

基于深度学习的苹果叶片病害分类的自动识别装置，该自动识别装置包括数据采

集器和地面终端；

[0028]

所述数据采集器包括图片采集模块、数据编码模块、本地存储模块和数据传输模

块；所述图片采集模块用于对苹果叶片进行拍摄图片并发送至数据编码模块；所述数据编

码模块用于对接收的苹果叶片图片进行无损压缩处理并发送至本地存储模块；本地存储模

块接收无损压缩处理后的苹果叶片图片进行存储；数据编码模块通过数据传输模块将无损

压缩处理后的苹果叶片图片发送至地面终端内部的数据解码模块；

[0029]

所述地面终端包括数据解码模块、分类模块、终端存储模块和信息显示模块；所述

数据解码模块用于对经数据编码模块无损压缩处理后的苹果叶片图片进行无损解压并发

送至分类模块；所述分类模块的内部嵌有用于对苹果叶片图像进行分类的苹果叶片病害分

类神经网络模型，分类模块接收数据解码模块解压后的苹果叶片图片以及分类后的苹果叶

片图片发送至终端存储模块；信息显示模块；所述终端存储模块接收分类模块发送的解压

后的苹果叶片图片以及分类后的苹果叶片图片并进行存储；分类模块将分类后的苹果叶片

图片发送至信息显示终端；所述终端存储模块发送解压后的苹果叶片图片至信息显示终

端；所述信息显示终端用于显示苹果叶片图片及苹果叶片图片分类结果。

[0030]

本发明的有益效果：

5

[0026]

CN 110097104 A

[0031]

说　明　书

3/6页

(1)对叶片病害进行分类标签，并划分训练集和测试集；利用训练集数据对模型进

行训练，以提取出苹果病害叶片的深度特征；利用测试集数据对训练好的模型进行模型识

别精度的评估；在Vgg16模型上加入批标准化层；批标准化即是在神经网络的训练过程中对

每层的输入数据进行批标准化处理，以降低样本间的差异性；在softmax loss函数基础上，

加入了新的辅助损失函数center loss；之所以说是辅助损失函数，是因为新提出的损失函

数需要结合softmax loss函数一起使用；将分类标签好的图片放入改进的模型中进行训

练；将分类标签好的图片数据作为训练集放入改进过的Vgg16模型中训练，生成分类模型，

来对苹果叶片病害进行分类，并利用测试集图片来检测模型的分类精度；

[0032]

(2)自动识别装置包括数据采集器和地面终端；图片采集模块用于对苹果叶片进

行拍摄图片并发送至数据编码模块；数据编码模块用于对接收的苹果叶片图片进行无损压

缩处理并发送至本地存储模块；本地存储模块接收无损压缩处理后的苹果叶片图片进行存

储；数据编码模块通过数据传输模块将无损压缩处理后的苹果叶片图片发送至地面终端内

部的数据解码模块；数据采集器内部的数据编码模块将拍摄的图片通过无损压缩编码处

理，经由无线WiFi或3G或4G或5G网络传输给地面终端，地面终端将接收的图片信号经过数

据解码模块后输入分类模块中，来实现叶片病害的精确分类功能；数据解码模块用于对经

数据编码模块无损压缩处理后的苹果叶片图片进行无损解压并发送至分类模块；分类模块

的内部嵌有用于对苹果叶片图像进行分类的苹果叶片病害分类神经网络模型，分类模块接

收数据解码模块解压后的苹果叶片图片以及分类后的苹果叶片图片发送至终端存储模块；

分类模块是嵌有训练好的苹果叶片病害分类神经网络模型，可以直接对输入的叶片图像进

行高效的分类。

附图说明

[0033]

下面结合附图对本发明作进一步的说明。

[0034]

图1为本发明基于深度学习的苹果叶片病害分类方法的流程图；

[0035]

图2为本发明基于深度学习的苹果叶片病害分类方法的卷积神经网络的整体框架

图；

[0036]

图3为本发明超参数λ所对应的叶片图像病害分类准确率的柱状图；

[0037]

图4为本发明基于深度学习的苹果叶片病害分类自动识别装置的结构示意图。

具体实施方式

[0038]

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完

整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于

本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它

实施例，都属于本发明保护的范围。

[0039]

请参阅图1-3所示，本发明为基于深度学习的苹果叶片病害分类方法，包括以下步

骤：

[0040]

S1：对叶片病害进行分类标签，并划分训练集和测试集；利用训练集数据对模型进

行训练，以提取出苹果病害叶片的深度特征；利用测试集数据对训练好的模型进行模型识

别精度的评估；

6

CN 110097104 A

[0041]

说　明　书

4/6页

S2：在Vgg16模型上加入批标准化层；所谓批标准化，即是在神经网络的训练过程

中对每层的输入数据进行批标准化处理，以降低样本间的差异性；批标准化的算法如下：

[0042]

[0043]

[0044]

[0045]

[0046]

其中，式中μ和σ分别为批次均值和方差；接着将数据归一化；

其中，式中ε为预设常量；式中ε是为了避免方差σ为0时分式不成立而设置的常量，

为避免数据批标准化破坏特征分布，需要通过重构变换来恢复原始的特征分布；

[0047]

yi＝γ

i

x

i

+β (4)

i

[0048]

β (6)

i

＝E[x

i

]

[0050]

其中，式中Var为方差函数，E为均值函数；可以发现，当γ

i

与β

i

分别如式(5)和(6)

设定的值时，重构变换能够完全复原原始数据，批标准化层的加入，一方面提升了训练速

度，收敛过程大大加快，另一方面，也使分类效果得到提升；

[0051]

S3：在softmax loss函数基础上，加入了新的辅助损失函数center loss；之所以

说是辅助损失函数，是因为新提出的损失函数需要结合softmax loss函数一起使用；在特

征提取的过程中，很多情况下类内间距要大于类间间距；期望特征不仅可分，而且要求差异

大；希望同类样本之间紧凑，不同类样本之间分散；用softmax loss函数来训练网络时，得

到的深度特征通常具有比较强的类间判别力；针对苹果叶片这种精细复杂的数据，数据在

特征空间不仅是类间可分，更重要的是类内紧凑；因为同一种植物叶片的类内变化很可能

会大于类间的变化，只有保持类内紧凑，才能对那些类内变化大的样本有一个更加鲁棒的

判定结果，也就是学习一种有判别力的特征；针对这个问题，center loss函数的解决方案

是：对每一个类都维护一个类中心c，而后在特征层如果该样本的类中心特征太远就要受到

惩罚；在结合使用这两种损失函数时，可以认为softmax loss函数负责增加类间距离，

center loss负责减小类内距离，这样学习到的特征更有内聚性，从而实现更好的分类效

果；

[0052]

softmax loss函数公式如下：

[0053]

[0054]

[0055]

[0056]

[0049]

辅助损失函数center loss函数公式如下：

其中，c

yi

代表第yi类深度特征的类心，x

i

表示全连接层之前的特征，m表示mini-

batch的大小；损失函数center loss的作用就让一个批次中的每个样本的特征离特征的中

7

CN 110097104 A

说　明　书

5/6页

心的距离的平方和越小越好，也就是让类内距离越小越好；

[0057]

总的损失函数如下：

[0058]

其中，m1表示mini-batch的包含的样本数量，n表示类别数，超参数λ是用来控制两

个损失函数之间的比重；调整两个损失函数之间的比重，从而得到精确度最佳的超参数λ，

如图3所示，当λ取值为0.09时，得到的分类准确率最高；

[0060]

S4：将分类标签好的图片放入改进的模型中进行训练；将分类标签好的图片数据

作为训练集放入改进过的Vgg16模型中训练，生成分类模型，来对苹果叶片病害进行分类，

并利用测试集图片来检测模型的分类精度；图3展示了改进后的Vgg16模型与当前比较流行

的几种神经网络模型的的分类准确率曲线图，可以看出，改进后的Vgg16模型在精度上明显

优于其他网络；

[0061]

请参阅图4所示，基于深度学习的苹果叶片病害分类的自动识别装置，该自动识别

装置包括数据采集器和地面终端；

[0062]

数据采集器包括图片采集模块、数据编码模块、本地存储模块和数据传输模块；图

片采集模块用于对苹果叶片进行拍摄图片并发送至数据编码模块；数据编码模块用于对接

收的苹果叶片图片进行无损压缩处理并发送至本地存储模块；本地存储模块接收无损压缩

处理后的苹果叶片图片进行存储；数据编码模块通过数据传输模块将无损压缩处理后的苹

果叶片图片发送至地面终端内部的数据解码模块；叶片病害自动识别装置由数据采集器和

地面终端组成；数数据采集器内部的数据编码模块将拍摄的图片通过无损压缩编码处理，

经由无线WiFi或3G或4G或5G网络传输给地面终端，地面终端将接收的图片信号经过数据解

码模块后输入分类模块中，来实现叶片病害的精确分类功能；考虑到苹果树的高度问题，在

户外进行拍摄时一般的手持设备需要全程手动来操作，用户可能不便于手动操控手持设备

来进行拍照；因此，图片采集模块是通过民用无人机搭载摄像机来进行图片拍摄工作；民用

无人机可通过无线电遥控设备来进行飞行速度、飞行高度、距目的地的距离、飞行姿势信息

的控制；所搭载的摄像机可以是高清摄像机或高分辨率的数码相机，使得拍摄效果好，便于

后续进行识别，提高分类精度；数据编码模块采用无损压缩编码处理，防止图片信息的丢

失；本地存储模块为易失性存储器形式的计算机系统可读介质或是非易失性存储器形式的

计算机系统可读介质；

[0063]

地面终端包括数据解码模块、分类模块、终端存储模块和信息显示模块；数据解码

模块用于对经数据编码模块无损压缩处理后的苹果叶片图片进行无损解压并发送至分类

模块；分类模块的内部嵌有用于对苹果叶片图像进行分类的苹果叶片病害分类神经网络模

型，分类模块接收数据解码模块解压后的苹果叶片图片以及分类后的苹果叶片图片发送至

终端存储模块；信息显示模块；终端存储模块接收分类模块发送的解压后的苹果叶片图片

以及分类后的苹果叶片图片并进行存储；分类模块将分类后的苹果叶片图片发送至信息显

示终端；终端存储模块发送解压后的苹果叶片图片至信息显示终端；信息显示终端用于显

8

[0059]

CN 110097104 A

说　明　书

6/6页

示苹果叶片图片及苹果叶片图片分类结果；

[0064]

数据解码模块所采用的技术方案与数据编码模块采用的方案相对应；分类模块是

嵌有训练好的苹果叶片病害分类神经网络模型，可以直接对输入的叶片图像进行高效的分

类；终端存储模块为任何形式的易失性或非易失性存储器，终端存储模块内有带标签的数

据文件，可以将分类好的图片放入相对应标签的文件中存储；信息显示模块可以是多种形

式的显示器，包括LED显示器、LCD显示器但不仅限于此，信息显示模块可以对经过分类模块

分类的叶片数据进行分类结果的显示，也可以对存储器中的叶片数据进行查看；

[0065]

本发明的工作原理：对叶片病害进行分类标签，并划分训练集和测试集；利用训练

集数据对模型进行训练，以提取出苹果病害叶片的深度特征；利用测试集数据对训练好的

模型进行模型识别精度的评估；在Vgg16模型上加入批标准化层；批标准化即是在神经网络

的训练过程中对每层的输入数据进行批标准化处理，以降低样本间的差异性；在softmax

loss函数基础上，加入了新的辅助损失函数center loss；之所以说是辅助损失函数，是因

为新提出的损失函数需要结合softmax loss函数一起使用；将分类标签好的图片放入改进

的模型中进行训练；将分类标签好的图片数据作为训练集放入改进过的Vgg16模型中训练，

生成分类模型，来对苹果叶片病害进行分类，并利用测试集图片来检测模型的分类精度；自

动识别装置包括数据采集器和地面终端；图片采集模块用于对苹果叶片进行拍摄图片并发

送至数据编码模块；数据编码模块用于对接收的苹果叶片图片进行无损压缩处理并发送至

本地存储模块；本地存储模块接收无损压缩处理后的苹果叶片图片进行存储；数据编码模

块通过数据传输模块将无损压缩处理后的苹果叶片图片发送至地面终端内部的数据解码

模块；数据采集器内部的数据编码模块将拍摄的图片通过无损压缩编码处理，经由无线

WiFi或3G或4G或5G网络传输给地面终端，地面终端将接收的图片信号经过数据解码模块后

输入分类模块中，来实现叶片病害的精确分类功能；数据解码模块用于对经数据编码模块

无损压缩处理后的苹果叶片图片进行无损解压并发送至分类模块；分类模块的内部嵌有用

于对苹果叶片图像进行分类的苹果叶片病害分类神经网络模型，分类模块接收数据解码模

块解压后的苹果叶片图片以及分类后的苹果叶片图片发送至终端存储模块；分类模块是嵌

有训练好的苹果叶片病害分类神经网络模型，可以直接对输入的叶片图像进行高效的分

类。

[0066]

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对

所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的

结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

9

CN 110097104 A

说　明　书　附　图

1/2页

图1

图2

10

CN 110097104 A

说　明　书　附　图

2/2页

图3

图4

11