第35 卷 第3 期
2019 年 2 月
农 业 工 程 学 报
Vol.35 No.3
Feb. 2019
156
Transactions of the Chinese Society of Agricultural Engineering
· 农业信息与电气技术·
基于R-FCN 深度卷积神经网络的机器人疏果前苹果目标的识别
王丹丹,何东健※
(1. 西北农林科技大学机械与电子工程学院,杨凌 712100;2. 农业农村部农业物联网重点实验室,
杨凌 712100;3. 陕西省农业信息感知与智能服务重点实验室,杨凌 712100)
摘 要:疏果前期苹果背景复杂、光照条件变化、重叠及被遮挡,特别是果实与背景叶片颜色极为相近等因素,给其目
标识别带来很大困难。为识别疏果前期的苹果目标,提出基于区域的全卷积网络(region-based fully convolutional network,
R-FCN)的苹果目标识别方法。该方法在研究基于ResNet-50 和ResNet-101 的R-FCN 结构及识别结果的基础上,改进设
计了基于ResNet-44 的R-FCN,以提高识别精度并简化网络。该网络主要由ResNet-44 全卷积网络、区域生成网络(Region
Proposal Network, RPN)及感兴趣区域(Region of Interest, RoI)子网构成。ResNet-44 全卷积网络为基础网络,用以提取
图像的特征,RPN 根据提取的特征生成RoI,然后RoI 子网根据ResNet-44 提取的特征及RPN 输出的RoI 进行苹果目标
的识别与定位。对采集的图像扩容后,随机选取 23 591 幅图像作为训练集,4 739 幅图像作为验证集,对网络进行训练
及参数优化。该文提出的改进模型在 332 幅图像组成的测试集上的试验结果表明,该方法可有效地识别出重叠、被枝叶
遮挡、模糊及表面有阴影的苹果目标,识别的召回率为 85.7%,识别的准确率为 95.1%,误识率为 4.9%,平均速度为
0.187 s/ 幅。通过与其他3 种方法进行对比试验,该文方法比Faster R-CNN、基于ResNet-50 和ResNet-101 的R-FCN 的
F1 值分别提高16.4、0.7 和0.7 个百分点,识别速度比基于ResNet-50 和ResNet-101 的R-FCN 分别提高了0.010 和0.041 s。
该方法可实现传统方法难以实现的疏果前苹果目标的识别,也可广泛应用于其他与背景颜色相近的小目标识别中。
关键词:图像处理;算法;图像识别;小苹果;目标识别;深度学习;R-FCN
doi:10.11975/j.issn.1002-6819.2019.03.020
中图分类号:TP391.41
王丹丹,何东健. 基于R-FCN 深度卷积神经网络的机器人疏果前苹果目标的识别[J]. 农业工程学报,2019,35(3):156
-163. doi:10.11975/j.issn.1002-
文献标志码:A
文章编号:1002-6819(2019)-03-0156-08
Wang Dandan, He Dongjian. Recognition of apple targets before fruits thinning by robot based on R-FCN deep convolution
neural network [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 156
-163. (in Chinese with English abstract)
doi:10.11975/j.issn.1002-6819.2019.03.020
或自然环境因素引起颜色不均匀、有阴影或被遮挡等情
况,识别准确率会明显下降。
0 引 言1
自然生长环境下果实目标的准确识别对实现果园自
动化及智能化管理具有重要意义,其中疏果前期小果实
目标的识别对实现疏果自动化、农药和水肥的变量喷施、
果实生长情况的监测等均具有重要意义。然而复杂的背
景环境、光照条件的变化、果实重叠及被遮挡,特别是
疏果前期果实与背景叶片颜色极为相近等因素,导致蔬
果前期小果实的识别非常困难[1]。
国内外针对果实的识别进行了广泛的研究[2-9]。果实
目标的识别方法主要有色差法[10-11]、K-means 聚类方法[12]、
模糊C 均值方法[13]、K 最近邻(K-nearest neighbor, KNN)
方法[14]、人工神经网络(artificial neural network, ANN)
[15]及支持向量机(support vector machine, SVM)[16-17]等,
上述方法虽然能将图像中的果实目标识别出来,但均基
于果实的颜色、形状或纹理特征,当果实表面由于光照
近年来,随着深度卷积神经网络(deep convolutional
neural network, DCNN)的发展,研究者开始将其应用于
目标的识别与定位。DCNN 可直接将原始图像作为输入,
并且能够实现图像特征的自动提取,避免了图像预处理
和特征提取等复杂操作[18]。DCNN 可与分类识别过程融
为一体,且网络能通过数据进行自我学习,是一种高效
的识别方法[19],目前DCNN 被逐步地应用于果实的识别
与定位中[20-23]。为了实现苹果和柑橘的准确计数,Chen
等[24]设计了2 个深度网络:一个基于BLOB 检测算子的
全卷积网络,主要用于提取图像中果实目标的候选区域,
另一个卷积神经网络用于实现果实的计数。Bargoti 等[25]
首先利用多尺度多层感知器和卷积神经网络将苹果图像
分割,提取出图像中的苹果目标,然后用分水岭分割和
圆形 Hough 变换法对苹果目标进行识别和计数。
Rahnemoonfar 等[26]设计了用于番茄目标识别与计数的
DCNN,该网络能够准确地对表面有阴影、被枝叶遮挡及
重叠的番茄目标准确计数。Liu 等[27]提出了从图像序列中
识别可见的柑橘和苹果果实并计数的方法,该方法首先
用全卷积网络将图像准确地分割,然后用匈牙利算法跟
收稿日期:2018-10-24
修订日期:2019-01-21
基金项目:国家高技术研究发展计划(863 计划)资助项目(2013AA100304)
作者简介:王丹丹,博士生,主要从事农业智能化检测方面的研究。
Email:
※通信作者:何东健,教授,博士生导师,主要从事智能化检测与技术研究。
Email:
全部评论(0)