您现在的位置是：首页 > 技术资料 > 基于R-FCN深度卷积神经网络的机器人疏果前苹果目标的识别

推荐星级：

基于R-FCN深度卷积神经网络的机器人疏果前苹果目标的识别

更新时间：2019-12-31 10:20:34 大小：1M 上传用户：songhuahua 查看TA发布的资源 标签：机器人深度卷积神经网络 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

疏果前期苹果背景复杂、光照条件变化、重叠及被遮挡,特别是果实与背景叶片颜色极为相近等因素,给其目标识别带来很大困难。为识别疏果前期的苹果目标,提出基于区域的全卷积网络(region-based fully convolutional network,R-FCN)的苹果目标识别方法。该方法在研究基于ResNet-50和ResNet-101的R-FCN结构及识别结果的基础上,改进设计了基于ResNet-44的R-FCN,以提高识别精度并简化网络。该网络主要由ResNet-44全卷积网络、区域生成网络(RegionProposal Network, RPN)及感兴趣区域(Region of Interest, RoI)子网构成。ResNet-44全卷积网络为基础网络,用以提取图像的特征,RPN根据提取的特征生成Ro I,然后Ro I子网根据ResNet-44提取的特征及RPN输出的Ro I进行苹果目标的识别与定位。对采集的图像扩容后,随机选取23 591幅图像作为训练集,4 739幅图像作为验证集,对网络进行训练及参数优化。该文提出的改进模型在332幅图像组成的测试集上的试验结果表明,该方法可有效地识别出重叠、被枝叶遮挡、模糊及表面有阴影的苹果目标,识别的召回率为85.7%,识别的准确率为95.1%,误识率为4.9%,平均速度为0.187 s/幅。通过与其他3种方法进行对比试验,该文方法比FasterR-CNN、基于ResNet-50和ResNet-101的R-FCN的F1值分别提高16.4、0.7和0.7个百分点,识别速度比基于ResNet-50和ResNet-101的R-FCN分别提高了0.010和0.041 s。该方法可实现传统方法难以实现的疏果前苹果目标的识别,也可广泛应用于其他与背景颜色相近的小目标识别中。

部分文件列表

文件名	大小
基于R-FCN深度卷积神经网络的机器人疏果前苹果目标的识别.pdf	1M

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

第35 卷第3 期

2019 年 2 月

农业工程学报

Vol.35 No.3

Feb. 2019

156

Transactions of the Chinese Society of Agricultural Engineering

· 农业信息与电气技术·

基于R-FCN 深度卷积神经网络的机器人疏果前苹果目标的识别

王丹丹，何东健^※

（1. 西北农林科技大学机械与电子工程学院，杨凌 712100；2. 农业农村部农业物联网重点实验室，

杨凌 712100；3. 陕西省农业信息感知与智能服务重点实验室，杨凌 712100）

摘要：疏果前期苹果背景复杂、光照条件变化、重叠及被遮挡，特别是果实与背景叶片颜色极为相近等因素，给其目

标识别带来很大困难。为识别疏果前期的苹果目标，提出基于区域的全卷积网络（region-based fully convolutional network,

R-FCN）的苹果目标识别方法。该方法在研究基于ResNet-50 和ResNet-101 的R-FCN 结构及识别结果的基础上，改进设

计了基于ResNet-44 的R-FCN，以提高识别精度并简化网络。该网络主要由ResNet-44 全卷积网络、区域生成网络（Region

Proposal Network, RPN）及感兴趣区域（Region of Interest, RoI）子网构成。ResNet-44 全卷积网络为基础网络，用以提取

图像的特征，RPN 根据提取的特征生成RoI，然后RoI 子网根据ResNet-44 提取的特征及RPN 输出的RoI 进行苹果目标

的识别与定位。对采集的图像扩容后，随机选取 23 591 幅图像作为训练集，4 739 幅图像作为验证集，对网络进行训练

及参数优化。该文提出的改进模型在 332 幅图像组成的测试集上的试验结果表明，该方法可有效地识别出重叠、被枝叶

遮挡、模糊及表面有阴影的苹果目标，识别的召回率为 85.7%，识别的准确率为 95.1%，误识率为 4.9%，平均速度为

0.187 s/ 幅。通过与其他3 种方法进行对比试验，该文方法比Faster R-CNN、基于ResNet-50 和ResNet-101 的R-FCN 的

F1 值分别提高16.4、0.7 和0.7 个百分点，识别速度比基于ResNet-50 和ResNet-101 的R-FCN 分别提高了0.010 和0.041 s。

该方法可实现传统方法难以实现的疏果前苹果目标的识别，也可广泛应用于其他与背景颜色相近的小目标识别中。

关键词：图像处理；算法；图像识别；小苹果；目标识别；深度学习；R-FCN

doi：10.11975/j.issn.1002-6819.2019.03.020

中图分类号：TP391.41

王丹丹，何东健. 基于R-FCN 深度卷积神经网络的机器人疏果前苹果目标的识别[J]. 农业工程学报，2019，35(3)：156

－163. doi：10.11975/j.issn.1002-

文献标志码：A

文章编号：1002-6819(2019)-03-0156-08

Wang Dandan, He Dongjian. Recognition of apple targets before fruits thinning by robot based on R-FCN deep convolution

neural network [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 156

－163. (in Chinese with English abstract)

doi：10.11975/j.issn.1002-6819.2019.03.020

或自然环境因素引起颜色不均匀、有阴影或被遮挡等情

况，识别准确率会明显下降。

0 引言¹^

自然生长环境下果实目标的准确识别对实现果园自

动化及智能化管理具有重要意义，其中疏果前期小果实

目标的识别对实现疏果自动化、农药和水肥的变量喷施、

果实生长情况的监测等均具有重要意义。然而复杂的背

景环境、光照条件的变化、果实重叠及被遮挡，特别是

疏果前期果实与背景叶片颜色极为相近等因素，导致蔬

果前期小果实的识别非常困难^[1]。

国内外针对果实的识别进行了广泛的研究^[2-9]。果实

目标的识别方法主要有色差法^[10-11]、K-means 聚类方法^[12]、

模糊C 均值方法^[13]、K 最近邻（K-nearest neighbor, KNN）

方法^[14]、人工神经网络（artificial neural network, ANN）

^[15]及支持向量机（support vector machine, SVM）^[16-17]等，

上述方法虽然能将图像中的果实目标识别出来，但均基

于果实的颜色、形状或纹理特征，当果实表面由于光照

近年来，随着深度卷积神经网络（deep convolutional

neural network, DCNN）的发展，研究者开始将其应用于

目标的识别与定位。DCNN 可直接将原始图像作为输入，

并且能够实现图像特征的自动提取，避免了图像预处理

和特征提取等复杂操作^[18]。DCNN 可与分类识别过程融

为一体，且网络能通过数据进行自我学习，是一种高效

的识别方法^[19]，目前DCNN 被逐步地应用于果实的识别

与定位中^[20-23]。为了实现苹果和柑橘的准确计数，Chen

等^[24]设计了2 个深度网络：一个基于BLOB 检测算子的

全卷积网络，主要用于提取图像中果实目标的候选区域，

另一个卷积神经网络用于实现果实的计数。Bargoti 等^[25]

首先利用多尺度多层感知器和卷积神经网络将苹果图像

分割，提取出图像中的苹果目标，然后用分水岭分割和

圆形 Hough 变换法对苹果目标进行识别和计数。

Rahnemoonfar 等^[26]设计了用于番茄目标识别与计数的

DCNN，该网络能够准确地对表面有阴影、被枝叶遮挡及

重叠的番茄目标准确计数。Liu 等^[27]提出了从图像序列中

识别可见的柑橘和苹果果实并计数的方法，该方法首先

用全卷积网络将图像准确地分割，然后用匈牙利算法跟

收稿日期：2018-10-24

修订日期：2019-01-21

基金项目：国家高技术研究发展计划（863 计划）资助项目（2013AA100304）

作者简介：王丹丹，博士生，主要从事农业智能化检测方面的研究。

Email：

※通信作者：何东健，教授，博士生导师，主要从事智能化检测与技术研究。

Email：

第3 期

王丹丹等：基于R-FCN 深度卷积神经网络的机器人疏果前苹果目标的识别

157

踪图像帧中的果实，最后用运动恢复结构算法估计果实

的三维位置和大小并去除假阳性。为了实现芒果的产量

估计，Stein 等^[28]利用多视角的方法识别、跟踪、定位并

计数芒果目标，该方法中用 Faster R-CNN^[29]网络识别图

像中的果实目标，有效地实现了被遮挡芒果目标的准确

计数。上述研究主要针对未成熟与背景颜色相近或成熟

的果实，对蔬果前小果实的识别尚未见到报道。疏果前

期的苹果，目标很小，与背景颜色极具相似性，且大多

成簇存在，导致果实的识别较为困难。

距离每个树冠0.5～1.2 m、按东南西北4 个不同方向进行

图像采集。

1.2 样本数据集

试验中，共采集苹果图像 3 165 幅，为减少后续试

验运行时间，首先将图像分辨率缩小为 500×500 像素，

然后对图像进行人工标注。图像标注时，利用每个苹果

的最小外接矩形进行标注，以保证每个矩形标注框内只

有一个苹果目标且尽可能少的包含背景像素。

图像标注后，选取不同天气和光照条件下的 332 幅

图像作为测试集，其余2 833 幅图像用于网络训练。选取

的332 幅图像的详细信息如表1 所示。

基于区域的全卷积网络（region-based fully convolutional

network，R-FCN）是一种利用全卷积网络进行目标分类

识别的网络^[30]，它适用于复杂背景中广泛存在的小目标

的识别^[31]。R-FCN 在整个图像上共享计算，减少了参数

冗余，并利用位置敏感分数图，解决了图像分类平移不

变性和目标检测平移变化之间的矛盾，在ImageNet 上取

得了较好的识别分类结果，目前已广泛应用于目标识别

为了丰富图像训练集，更好地提取图像特征，避免

出现过拟合，对数据集进行数据增强处理。由于光照方

向及天气等不确定因素，导致图像采集时光照条件十分

复杂，为了提高训练模型的泛化能力，对原始图像进行

了图像亮度增强及减弱、色度增强及减弱、对比度增强

及减弱、锐度增强及减弱8 种处理。其中，图像的亮度、

色度和对比度均增强为原始图像的1.2 倍，锐度增强为原

始图像的 2 倍，亮度、色度、对比度和锐度分别减弱为

原始图像的60%、60%、60%和10%。此外，为了模拟设

备在图像采集过程中可能产生的噪声，对原始图像添加

了方差为 0.01 高斯噪声。图像扩增后，原始标注仍然有

效。对如图1a 所示的原始图像，进行9 种图像增强的结

果如图1b～1j 所示。图像增强后的28 330 幅图像用于后

续深度网络的训练和参数优化验证。从28 330 幅图像中

随机选取4 739 幅作为验证集，其余23 591 幅作为训练

集，训练集与测试集之间无重叠。

与定位中^[31-33]

。

鉴于上述，本文研究并提出一种基于R-FCN 的疏果

前苹果目标识别方法，通过利用深层神经网络提取苹果

目标的特征并将苹果区域识别定位，以期克服复杂背景、

果实重叠、被遮挡及表面阴影等因素的干扰，从而高效

准确地识别出图像中的苹果目标，为实现果园生长监测、

疏果、农药变量喷施的自动化奠定基础。

1 试验数据

1.1 图像采集

供试图像在苹果疏果前于西北农林科技大学园艺学

院果园采集，采集时间为2018 年5 月1 日（晴）、5 月

2 日（晴）和 5 月4 日（阴）上午9:00—11:30，下午 2:30

—6:30，此时苹果的横径在25 mm 以下。为了保证样本的

多样性，分别在顺光和逆光条件下，采集自然条件下生长

的苹果树冠图像。图像采集设备为iPhone7 plus，图像分

辨率为3 024×3 024 像素、格式为JPEG。图像采集设备

表1 测试集图像的样本分布详细信息

Table 1 Detailed information of samples in test images

晴天Sunny

阴天Cloudy

条件

Conditions

顺光逆光

Direct sunlight Backlight Direct sunlight Backlight

85 88 86 74

图像数量

Number of images

b. 亮度增强结果

b. Result of brightness

enhancement

c. 亮度减弱结果

c. Result of brightness

reduction

d. 色度增强结果

d. Result of chroma

enhancement

e. 色度减弱结果

e. Result of chroma

reduction

a. 原始图像

a. Original image

f. 对比度增强结果

f. Result of contrast

enhancement

g. 对比度减弱结果

g. Result of contrast

reduction

h. 锐度增强结果

h. Result of sharpness

enhancement

i. 锐度减弱结果

i. Result of sharpness

reduction

j. 增加高斯噪声结果

j. Result of adding

Gaussian noise

图 1 图像增强结果

Fig.1 Results of data augment

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

基于R-FCN深度卷积神经网络的机器人疏果前苹果目标的识别

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页