基于图像处理与改进SVM的苹果多特征融合分级方法

　山东农业科学　２０２２ꎬ５４(６):１４１~１４９

ＤＯＩ:１０.１４０８３/ｊ.ｉｓｓｎ.１００１

－

４９４２.２０２２.０６.０２０

ＳｈａｎｄｏｎｇＡｇｒｉｃｕｌｔｕｒａｌＳｃｉｅｎｃｅｓ

基于图像处理与改进ＳＶＭ的苹果

多特征融合分级方法

林海波ꎬ卢元栋ꎬ丁荣诚ꎬ修玉峰

(青岛理工大学机械与汽车工程学院ꎬ山东青岛　２６６５２０)

　　摘要:为实现苹果准确分级ꎬ我们提出了基于图像处理与改进ＳＶＭ(支持向量机)的苹果多特征融合分级

方法ꎮ该方法主要分为图像预处理、背景分割、特征提取以及改进ＳＶＭ的多特征融合分级四部分ꎮ首先ꎬ利

用同态滤波算法改善采集的苹果图像质量ꎻ其次ꎬ将图像转换至ＨＬＳ空间ꎬ使用Ｑｔｓｕ算法分割背景ꎬ利用形态

学处理去除果梗及表面缺陷区域ꎬ利用Ｃａｎｎｙ算法提取苹果轮廓ꎻ然后ꎬ提取苹果的大小、形状、颜色、缺陷、纹

理５个特征ꎻ最后ꎬ利用交叉验证法优化ＳＶＭ中的惩罚因子ꎬ建立多特征融合分级模型ꎬ并通过Ｆｉｓｈｅｒ计算各

指标的权重ꎮ本试验分别选取１４６、６１个被明确划分等级的苹果样本进行训练、测试ꎬ结果表明ꎬ该分级方法

的准确率达９６.７２％ꎬ可实现高精确度的苹果自动化分级ꎮ

关键词:苹果ꎻ自动化分级ꎻ图像处理ꎻ改进ＳＶＭꎻ多特征融合

中图分类号:Ｓ６６１.１:ＴＰ３９１.４　　文献标识号:Ａ　　文章编号:１００１

－

４９４２(２０２２)０６

－

０１４１

－

０９

ＡＭｕｌｔｉ￣ｆｅａｔｕｒｅＦｕｓｉｏｎＣｌａｓｓｉｆｉｃａｔｉｏｎ

ＭｅｔｈｏｄｆｏｒＡｐｐｌｅＢａｓｅｄｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇａｎｄＩｍｐｒｏｖｅｄＳＶＭ

Ａｂｓｔｒａｃｔ　Ｉｎｏｒｄｅｒｔｏｒｅａｌｉｚｅａｃｃｕｒａｔｅｃｌａｓｓｉｆｉｃａｔｉｏｎｏｆａｐｐｌｅꎬａｍｕｌｔｉ￣ｆｅａｔｕｒｅｆｕｓｉｏｎｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄ

(ＳｃｈｏｏｌｏｆＭｅｃｈａｎｉｃａｌ＆ＡｕｔｏｍｏｔｉｖｅＥｎｇｉｎｅｅｒｉｎｇꎬＱｉｎｇｄａｏＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙꎬＱｉｎｇｄａｏ２６６５２０ꎬＣｈｉｎａ)

ＬｉｎＨａｉｂｏꎬＬｕＹｕａｎｄｏｎｇꎬＤｉｎｇＲｏｎｇｃｈｅｎｇꎬＸｉｕＹｕｆｅｎｇ

ｂａｓｅｄｏｎｉｍａｇｅｐｒｏｃｅｓｓｉｎｇａｎｄｉｍｐｒｏｖｅｄＳＶＭｗａｓｐｒｏｐｏｓｅｄｉｎｔｈｉｓｐａｐｅｒ.Ｔｈｅｍｅｔｈｏｄｗａｓｍａｉｎｌｙｄｉｖｉｄｅｄｉｎｔｏ

ｆｏｕｒｐａｒｔｓꎬｉｎｃｌｕｄｉｎｇｉｍａｇｅｐｒｅｐｒｏｃｅｓｓｉｎｇꎬｂａｃｋｇｒｏｕｎｄｓｅｇｍｅｎｔａｔｉｏｎꎬｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎａｎｄｍｕｌｔｉ￣ｆｅａｔｕｒｅｆｕ￣

ｏｆａｐｐｌｅｉｍａｇｅ.ＳｅｃｏｎｄｌｙꎬｔｈｅｉｍａｇｅｗａｓｃｏｎｖｅｒｔｅｄｔｏＨＬＳｓｐａｃｅꎻａｆｔｅｒｓｅｇｍｅｎｔｉｎｇｂａｃｋｇｒｏｕｎｄｂｙＱｔｓｕａｌｇｏ￣

ｒｉｔｈｍａｎｄｒｅｍｏｖｉｎｇｆｒｕｉｔｓｔｅｍａｎｄｓｕｒｆａｃｅｄｅｆｅｃｔａｒｅａｓｂｙｍｏｒｐｈｏｌｏｇｉｃａｌｐｒｏｃｅｓｓｉｎｇꎬｔｈｅａｐｐｌｅｃｏｎｔｏｕｒｗａｓｅｘ￣

ｔｒａｃｔｅｄｗｉｔｈＣａｎｎｙａｌｇｏｒｉｔｈｍ.Ｔｈｅｎꎬｔｈｅａｐｐｌｅ’ｓｓｉｚｅꎬｓｈａｐｅꎬｃｏｌｏｒꎬｄｅｆｅｃｔａｎｄｔｅｘｔｕｒｅｆｅａｔｕｒｅｓｗｅｒｅｅｘｔｒａｃｔｅｄ.

ｓｉｏｎｃｌａｓｓｉｆｉｃａｔｉｏｎｗｉｔｈｉｍｐｒｏｖｅｄＳＶＭ.Ｆｉｒｓｔｌｙꎬｈｏｍｏｍｏｒｐｈｉｃｆｉｌｔｅｒｉｎｇａｌｇｏｒｉｔｈｍｗａｓｕｓｅｄｔｏｉｍｐｒｏｖｅｔｈｅｑｕａｌｉｔｙ

ＦｉｎａｌｌｙꎬｔｈｅｃｒｏｓｓｖｅｒｉｆｉｃａｔｉｏｎｍｅｔｈｏｄｗａｓｕｓｅｄｔｏｏｐｔｉｍｉｚｅｔｈｅｐｅｎａｌｔｙｆａｃｔｏｒｉｎＳＶＭꎬｔｈｅｍｕｌｔｉ￣ｆｅａｔｕｒｅｆｕｓｉｏｎ

ａｐｐｌｅｓａｍｐｌｅｓｆｏｒｔｒａｉｎｉｎｇａｎｄ６１ｏｎｅｓｆｏｒｔｅｓｔｉｎｇ.Ｔｈｅｒｅｓｕｌｔｓｓｈｏｗｅｄｔｈａｔｔｈｅａｃｃｕｒａｃｙｏｆｔｈｅｐｒｏｐｏｓｅｄｃｌａｓｓｉｆｉ￣

ｃａｔｉｏｎｍｅｔｈｏｄｗａｓ９６.７２％ꎬｗｈｉｃｈｃｏｕｌｄｒｅａｌｉｚｅｔｈｅａｕｔｏｍａｔｉｃｃｌａｓｓｉｆｉｃａｔｉｏｎｏｆａｐｐｌｅｗｉｔｈｈｉｇｈａｃｃｕｒａｃｙ.

Ｋｅｙｗｏｒｄｓ　ＡｐｐｌｅꎻＡｕｔｏｍａｔｉｃｃｌａｓｓｉｆｉｃａｔｉｏｎꎻＩｍａｇｅｐｒｏｃｅｓｓｉｎｇꎻＩｍｐｒｏｖｅｄＳＶＭꎻＭｕｌｔｉ￣ｆｅａｔｕｒｅｆｕｓｉｏｎ

ｃｌａｓｓｉｆｉｃａｔｉｏｎｍｏｄｅｌｗａｓｅｓｔａｂｌｉｓｈｅｄꎬａｎｄｔｈｅｗｅｉｇｈｔｏｆｅａｃｈｉｎｄｅｘｗａｓｃａｌｃｕｌａｔｅｄｂｙＦｉｓｈｅｒ.Ｗｅｓｅｌｅｃｔｅｄ１４６

收稿日期:２０２１

－

１１

－

０９

基金项目:山东省重点研发计划项目(２０１８ＧＮＣ１１２０１１)ꎻ山东省农机装备研发创新计划项目(２０１８ＹＦ００９)

通信作者:林海波(１９７６—)ꎬ男ꎬ博士ꎬ硕士生导师ꎬ主要从事自动控制理论及信号信息处理研究ꎮＥ

－

ｍａｉｌ:ｌｉｎｈａｉｂｏ＠ｑｕｔ.ｅｄｕ.ｃｎ

Copyright©博看网. All Rights Reserved.

１４２

　　　　　　　　　　　　　山东农业科学　　　　　　　　　　　　　第５４卷　

形状和质量进行等级判别ꎬ准确率为８８.９％ꎻ张婧

婧等

[３１]

根据苹果的红色着色比、缺陷、果径进行

分级ꎻ任龙龙等

[３２]

利用苹果的大小、颜色、缺陷度

以及圆形度进行分级ꎻ王阳阳等

[３３]

根据大小、果

形、质量、颜色、缺陷５个方面对秦冠苹果进行分

级ꎬ准确率达到９７％ꎻ李学军等

[３４]

利用判别树和

改进支持向量机决策融合来分级ꎻ李先锋等

[３５]

利

用Ｄ

－

Ｓ证据理论对苹果的大小、形状、颜色和缺

陷４个特征进行决策级融合处理ꎬ实现苹果综合

分级ꎬ准确率达９２.５％ꎮＢｈａｒｇａｖａ等

[３６]

利用主成

分分析从特征空间中选取统计特征、纹理特征、几

何特征、离散小波变换特征、梯度直方图特征和纹

理能量ꎬ并利用ＳＶＭ进行分级ꎬ得到较高的准确

率ꎻＹｕ等

[３７]

提取苹果的最大横截面平均直径、圆

度、红色面积的比例和缺陷区域ꎬ通过加权Ｋ

－

ｍｅａｎｓ聚类算法实现苹果分级ꎬ准确率高于９６％ꎮ

综上所述ꎬ利用多个特征进行苹果分级比单个特

征分级更准确、更可靠ꎮ

为较充分地描述苹果的外部特征ꎬ本研究选

用每个苹果１幅顶部及３幅侧面图像ꎬ利用图像

处理方法提取其大小、形状、颜色、缺陷、纹理５个

特征的８个指标ꎬ建立多特征融合分级模型ꎬ并用

改进的ＳＶＭꎬ实现了苹果准确分级ꎬ其流程如图１

所示ꎮ该方法可为进一步提高苹果自动化分级准

确率提供参考ꎮ

　　中国是世界上最大的苹果生产国ꎬ苹果产量

有逐年升高趋势ꎬ但因苹果质量参差不齐ꎬ出口量

占全球苹果出口量的比重较低

[１]

ꎮ目前我国苹

果外部品质分级还主要依靠人工ꎬ主观性较强ꎻ也

有部分依靠基于大小或颜色的机械分级机ꎬ但难

以满足综合分级要求且易对苹果造成机械伤

害

[２]

ꎮ实现果实质量在线监测分级

[３

－

５]

对于提高

我国苹果产值具有重要意义ꎮ

应用于农产品检测

[６]

ꎮ诸多学者也将其应用于

颜色

[１３

－

１７]

、缺陷

[１８

－

２２]

、纹理

[２３

－

２５]

等特征进行识别

与分级ꎬ取得了一定成果ꎮ然而ꎬ仅根据苹果的单

一特征进行分级仍难免存在偏差ꎮ为此ꎬ一些学

者对融合多个特征实现苹果分级进行了研究ꎬ如

Ｊａｎａ等

[２６]

从分割后的图像中提取灰度共生矩阵

的纹理特征和统计颜色特征ꎬ并基于支持向量机

(ＳＶＭ)进行训练预测ꎻ雷欢等

[２７]

通过直方图变换

提取苹果的颜色特征ꎬ并将其与局部和全局纹理

特征融合ꎬ利用ＳＶＭ识别苹果品种ꎻ宋荣杰等

[２８]

利用灰度共生矩阵、分形和空间自相关三种纹理

特征分别与光谱特征组合ꎬ最后利用ＳＶＭ进行苹

果园提取ꎻ樊泽泽等

[２９]

融合颜色与果径大小进行

苹果分级与检测ꎬ准确率达９１.６％ꎻ包晓安等

[３０]

利用改进的人工神经网络算法根据苹果的颜色、

近年来机器视觉逐渐渗透到农业领域ꎬ主要

苹果分级ꎬ通过提取苹果的大小

[７

－

１０]

、形状

[１１ꎬ１２]

、

图１　方法流程图

１　图像获取及预处理

随机选择嘎啦苹果果实ꎬ在实验室灯光环境

下由ＭａｎｔａＧ０４６Ｃ相机拍摄ꎮ拍摄背景选为黑

色ꎬ便于图像处理ꎻ相机镜头与放置苹果的桌面垂

４６２４

×

３４７２ꎬ格式为.ＪＰＥＧꎮ为了准确提取苹果

特征ꎬ每个苹果采集不同方位的４幅图像ꎬ包括１

直ꎬ且与桌面距离２５ｃｍꎻ采集图像的分辨率为

Copyright©博看网. All Rights Reserved.

　第６期　　　　　林海波ꎬ等:基于图像处理与改进ＳＶＭ的苹果多特征融合分级方法

幅顶部图像、３幅侧面图像ꎮ

由于拍摄过程中环境的光线不均及背景存在

略微反光现象ꎬ首先采用同态滤波算法ꎬ通过压缩

亮度范围和增强对比度改善图像质量ꎮ

Ｓ

＝

１

－

３

ｍｉｎ(ＲꎬＧꎬＢ)　ꎻ

Ｒ

＋

Ｇ

＋

Ｂ

１

(Ｒ

＋

Ｇ

＋

Ｂ)　ꎮ

３

１４３

(２)

(３)Ｌ

＝

２　背景分割

将图像转换到一个合适的颜色空间对于背景

分割尤为重要ꎮ由于色度受光照条件影响小ꎬ因

此ꎬ首先将苹果图像从ＲＧＢ颜色空间转换到ＨＬＳ

颜色空间ꎮ两个颜色空间之间的转换关系如式

(１)~(３)所示:

０.５(Ｒ

－

Ｇ)

＋

Ｒ

－

Ｂ

ìù

ï

ｃｏｓ

－

１

é

êú

(Ｇ≥Ｂ)

２

êú

ï

ï

ë

(Ｒ

－

Ｇ)

＋

(Ｒ

－

Ｂ)(Ｇ

－

Ｂ)

û

Ｈ

＝

í

０.５(Ｒ

－

Ｇ)

＋

Ｒ

－

Ｂ

ù

ï

－

１

é

êú

(Ｇ<Ｂ)ꎻ

－

２πｃｏｓ

ï

２

ï

ê

îë

(Ｒ

－

Ｇ)

＋

(Ｒ

－

Ｂ)(Ｇ

－

Ｂ)

ú

û

然后将彩色图像转换为灰度图像(图２)ꎮ通

过比较ＨＬＳ颜色空间中不同分量获得的灰度图ꎬ

可以发现Ｓ分量获得的灰度图中苹果最清晰ꎬ且

与背景的对比度也更高ꎮ因此ꎬ选用Ｓ分量来获

取灰度图ꎮ

３ａ)ꎮ为了消除果梗及可能的缺陷对特征提取的影

响ꎬ对图像进行形态学处理:采用１１

×

１１的矩形结构

元对图像进行腐蚀操作ꎬ再对其进行膨胀操作ꎬ去掉

果梗(图３ｂ)ꎻ采用孔洞填充去除因苹果表面缺陷而

形成的黑色孔洞(图３ｃ)ꎮ最后通过Ｃａｎｎｙ算法检测

到比较清晰的苹果边缘轮廓(图３ｄ)ꎮ

之后使用Ｑｔｓｕ方法分割背景得到二值化图(图

(１)

图２　ＨＬＳ颜色空间不同分量得到的灰度图

图３　图像的形态学处理和苹果轮廓检测

３　特征提取

Ｄ

＝

ｍａｘ{ｘ

１

ꎬｘ

２

ꎬ

本文标签： 苹果分级特征图像