您现在的位置是：首页 > 技术资料 > 基于卷积神经网络的田间多簇猕猴桃图像识别方法

推荐星级：

基于卷积神经网络的田间多簇猕猴桃图像识别方法

更新时间：2019-12-26 09:44:15 大小：1M 上传用户：IC老兵查看TA发布的资源 标签：卷积神经网络图像识别 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

为实现田间条件下快速、准确地识别多簇猕猴桃果实,该文根据猕猴桃的棚架式栽培模式,采用竖直向上获取果实图像的拍摄方式,提出一种基于Le Net卷积神经网络的深度学习模型进行多簇猕猴桃果实图像的识别方法。该文构建的卷积神经网络通过批量归一化方法,以Re LU为激活函数,Max-pooling为下采样方法,并采用Softmax回归分类器,对卷积神经网络结构进行优化。通过对100幅田间多簇猕猴桃图像的识别,试验结果表明:该识别方法对遮挡果实、重叠果实、相邻果实和独立果实的识别率分别为78.97%、83.11%、91.01%和94.78%。通过与5种现有算法进行对比试验,该文算法相对相同环境下的识别方法提高了5.73个百分点,且识别速度达到了0.27 s/个,识别速度较其他算法速度最快。证明了该文算法对田间猕猴桃图像具有较高的识别率和实时性,表明卷积神经网络在田间果实识别方面具有良好的应用前景。

部分文件列表

文件名	大小
基于卷积神经网络的田间多簇猕猴桃图像识别方法.pdf	1M

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

第 34 卷

2018 年

第 2 期

1 月

农业工程学报

Vol.34 No.2

Jan. 2018

Transactions of the Chinese Society of Agricultural Engineering

205

基于卷积神经网络的田间多簇猕猴桃图像识别方法

傅隆生 ^1,2，冯亚利 ¹，Elkamil Tola³，刘智豪 ¹，李瑞 ¹，崔永杰 ^1,2

（1. 西北农林科技大学机械与电子工程学院，杨凌 712100； 2. 农业部农业物联网重点实验室，杨凌 712100；

3. Precision Agriculture Research Chair, King Saud University, Riyadh 11451, Saudi Arabia）

摘

要：为实现田间条件下快速、准确地识别多簇猕猴桃果实，该文根据猕猴桃的棚架式栽培模式，采用竖直向上获取

果实图像的拍摄方式，提出一种基于 LeNet 卷积神经网络的深度学习模型进行多簇猕猴桃果实图像的识别方法。该文构

建的卷积神经网络通过批量归一化方法，以 ReLU 为激活函数，Max-pooling 为下采样方法，并采用 Softmax 回归分类器，

对卷积神经网络结构进行优化。通过对 100 幅田间多簇猕猴桃图像的识别，试验结果表明：该识别方法对遮挡果实、重

叠果实、相邻果实和独立果实的识别率分别为 78.97%、83.11%、91.01%和 94.78%。通过与 5 种现有算法进行对比试验，

该文算法相对相同环境下的识别方法提高了 5.73 个百分点，且识别速度达到了 0.27 s/个，识别速度较其他算法速度最快。

证明了该文算法对田间猕猴桃图像具有较高的识别率和实时性，表明卷积神经网络在田间果实识别方面具有良好的应用

前景。

关键词：图像处理；图像识别；算法；深度学习；卷积神经网络；猕猴桃

doi：10.11975/j.issn.1002-6819.2018.02.028

中图分类号：TP391.41

傅隆生，冯亚利，Elkamil Tola，刘智豪，李瑞，崔永杰. 基于卷积神经网络的田间多簇猕猴桃图像识别方法[J]. 农

业工程学报，2018，34(2)：205－211.

doi：10.11975/j.issn.1002-

文献标志码：A

文章编号：1002-6819(2018)-02-0205-07

Fu Longsheng, Feng Yali, Elkamil Tola, Liu Zhihao, Li Rui, Cui Yongjie. Image recognition method of multi-cluster kiwifruit in

field based on convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of

the CSAE), 2018, 34(2): 205 － 211. (in Chinese with English abstract)

doi ： 10.11975/j.issn.1002-6819.2018.02.028

利用 Otsu 算法在 a*通道进行图像分割，基于正椭圆

Hough 变换提取 Canny 算子获取的猕猴桃果实边缘图像

进行识别，但不能很好识别远处的果实。对于竖直向上

获取的图像，Scarfe 等^[13]采用固定阈值法去除背景，提取

Sobel 边缘后，利用模板匹配的方法识别猕猴桃，但未利

用果实的形状信息；Fu 等^[14]提出 1.1R-G 颜色特性进行夜

间猕猴桃图像分割，并结合最小外接矩形法和椭圆形

Hough 变换识别每个果实，但只能识别单簇果实；傅隆

生等^[9]利用竖直向上成像时果萼都显现且与果实有区别

的特点，进行基于果萼的夜间猕猴桃识别，但未涉及遮

挡与重叠果实的识别，且对多果簇识别效果不佳。田间

环境下的猕猴桃果实图像特征多样、背景复杂且形态特

征差异大。已有识别方法主要根据经验，受样本和人为

主观性的影响，很难具有普适性，鲁棒性差，难以用一

种方法同时识别所有类型的猕猴桃果实，且不能同时识

别多簇果实，不能满足复杂田间环境下的应用需求。

相比常规方法，近年兴起的卷积神经网络 ^[15]

（convolutional neural network，CNN）方法直接由数据本

身驱动特征及表达关系的自我学习，对图像具有极强的数

引

言^

中国是猕猴桃栽培面积最大的国家^[1]，大都是手工收

获果实^[2]。在乡村劳动力向城镇转移的大背景下，发展猕

猴桃自动化采摘技术，特别是研发猕猴桃采摘机器人，

具有重要的意义^[3-7]。猕猴桃采摘机器人的首要及关键技

术之一是果实的快速有效识别^[7]。在自然场景下，由于猕

猴桃果实颜色与枯叶、枝干、果柄等复杂背景的颜色相

近^[8]，果实成簇并存在大量重叠与遮挡果实。因此，对田

间环境下猕猴桃果实的特征学习从而进行识别是猕猴桃

采摘机器人急需解决的一个关键性问题^[9]。

近年来，科研工作者对自然环境下猕猴桃果实的识

别进行了深入研究。总体分为 2 部分，从果实斜侧面获

取图像进行识别和从果实底部竖直向上采集图像进行识

别。对于从斜侧面获取的图像，丁亚兰等^[10]利用 R-B 颜

色因子，采用固定阈值进行猕猴桃图像分割，但无法有

效识别强反光及暗影区的果实；崔永杰等^[11]利用 L*a*b*

颜色空间 a*通道进行猕猴桃图像分割，采用椭圆形

Hough 变换拟合单个果实轮廓，但对田间背景下的猕猴

桃果实分割效果不理想；崔永杰等^[8]通过对比不同颜色空

间，提出利用 0.9R-G 颜色特征，结合椭圆形 Hough 变换

进行果实的识别，但识别的果实针对特定类型，在实际

应用中其适用性受到抑制；詹文田等^[5]基于 Adaboost 算

法，通过引入 RGB、HIS、L*a*b*颜色模型构建识别猕

猴桃果实的分类器，但识别速度有待提高；慕军营等^[12]

据表征能力。CNN 已在手写字符识别^[16-18]、人脸识别^[19-21]

行为识别^[22-23]以及农作物识别^[24-25]等方面，获得了较好

的效果。学者们也开始 CNN 在果实识别方面的研究，

王前程^[26]将 CNN 应用于处理后的 6 种水果图像数据集

进行识别，证明了 CNN 在水果图像识别上的有效性；

Sa 等^[27]基于 CNN 模型建立果实的深度网络识别模型，

、

农业工程学报（）

2018 年

206

对不同的果实图像进行测试，取得不错的效果。以上研

究的开展为 CNN 应用于果实识别提供了参考和可行性

依据，同时也表明 CNN 在图像识别中可以克服传统方

法的不足。

本文在采集大量田间样本图像的基础上，通过 CNN

对复杂背景下的猕猴桃果实进行识别，避免人为主观因

素影响识别结果。依据田间环境下猕猴桃图像的特点，

优化 LeNet 卷积神经网络的结构与参数，从而建立一种

基于卷积神经网络的田间猕猴桃果实图像的识别模型，

以实现田间复杂环境下多簇猕猴桃果实的快速有效识

别。

图 2 试验部分数据集样本示例

Fig.2 Example images of partial dataset

材料与方法

模型训练完成后，将剩余的 100 幅猕猴桃原始图像

（上午和下午各 50 幅）作为模型效果验证的测试集，为

减少计算量及运行时间，将原图像缩放为 600×400 像

数进行测试，训练数据集与测试图像间不重叠。最后本

文将与已有的猕猴桃识别方法进行对比分析。由于测试

数据集中两个不同时间段样本数量呈均衡分布，因此可

将测试结果的平均准确率作为本文模型的识别效果评

1.1 图像采集

试验供试图像于 2016 年 10 月—11 月采集自陕西省

眉县猕猴桃试验站（34°07'39''N，107°59'50''E，海拔

648 m），将数码相机（Canon EOS 40D）通过三脚架置

于猕猴桃果实下方 100 cm 左右对“海沃德”品种进行拍

照。共采集原始图像 700 幅，晴天上午、下午 2 个不同

时间段各 350 幅，图像格式为 JPEG，分辨率为 2 352×1 568

像素，如图 1 所示。

价指标^[28]

。

1.3 卷积神经网络的构建

本文使用Matlab的MatConvnet工具箱^[29]建立卷积神

经网络。LeNet^[30]是典型的卷积神经网络，最初成功用于

手写数字识别。由于猕猴桃果实的识别亦是对某一未知

猕猴桃果实图像进行识别和匹配，该过程与 LeNet 手写

字符的识别相似。因此可以将卷积神经网络 LeNet 作为

基础网络架构，并对其重要的结构参数和训练策略进行

优化，以获取适合猕猴桃果实图像识别的模型架构。

LeNet 卷积神经网络具体算法描述如下：

a. 上午

a. Morning

b. 下午

b. Afternoon

图 1 田间自然环境下的猕猴桃图像

Fig.1 Kiwifruit image under natural conditions in field

1）卷积层

卷积核的尺寸与数量对于 CNN 的性能至关重要。输

入图像通过 j 个不同的卷积核卷积，生成 j 个不同的特征

图，卷积层如式（1）所示。

1.2 样本数据集与试验方法

猕猴桃采用棚架式栽培方式形成果实自然下垂且位

于枝叶下方的特点，底部竖直向上成像后，每个果实的

果萼部分都显现。该文随机选取 600 幅（上午和下午各

300 幅）图像，截取具有萼的单果作为目标区域，并剔除

无效的图像区域，所截取的样本图像最小尺寸为 74×76

像素。再由人工对原始采集的图片进行筛选，从而避免

数据样本的错误选定和单一性。最终试验所用数据集由

正样本（6 000 幅）和负样本（4 020 幅）组成，为 2 个

不同时间段均匀分布（上午和下午各 5 010 幅）。数据集

均用于卷积神经网络的训练和参数优化验证，分别从正、

负样本中随机选择 80%样本构建训练集，20%作为验证

集。部分正、负样本图样如图 2 所示。

x^l f (

x^l1W ^l b^l)

（1）



iM _j

式中 x^l_j表示在 l 层（卷积层）的第 j 个特征图，f()表示激

活函数，M_j代表输入图像的特征量，W ^l为卷积核，b^l为

偏置项。

2）下采样层

下采样层对输入进行抽样，如式（2）所示。

x^l_j f (^l_jdown(x^l_j^1)  b^l_j)

（2）

式中 down()为下采样函数， ^l_j输出特征的偏置。

基于卷积神经网络的猕猴桃果实识别

2.1 试验软件及硬件

本文处理平台为笔记本计算机，处理器为 Inter（R）

Core（TM）i3，主频为 2.40 GHz，4 GB 内存，500 GB

硬盘，运行环境为：Windows 7 64 位，Matlab R2016a，

Microsoft Visual Studio 12.0。

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

基于卷积神经网络的田间多簇猕猴桃图像识别方法

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页