您现在的位置是：首页 > 技术资料 > 自然环境下多类水果采摘目标识别的通用改进SSD模型

推荐星级：

自然环境下多类水果采摘目标识别的通用改进SSD模型

更新时间：2020-01-01 22:10:52 大小：8M 上传用户：songhuahua 查看TA发布的资源 标签：水果采摘目标识别 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

为解决当前自然环境下水果识别率不高、泛化性不强等问题,该文以苹果、荔枝、脐橙、皇帝柑4种水果为研究对象,提出了一种改进的SSD(single shot multi-boxdetector)深度学习水果检测模型:将经典SSD深度学习模型中的VGG16输入模型替换为Res Net-101模型,并运用迁移学习方法和随机梯度下降算法优化SSD深度学习模型。该文基于Caffe深度学习框架,对自然环境下采集的水果图像进行不同网络模型、不同数据集大小和不同遮挡比例等多组水果识别检测效果对比试验。试验表明:改进的SSD深度学习水果检测模型对4种水果在各种环境下的平均检测精度达到88.4%,高于经典SSD深度学习模型中的86.38%,经过数据增强后平均检测精度可提升至89.53%,在遮挡面积低于50%的情况下F1值能达到96.12%,有较好的泛化性和鲁棒性,可以很好地实现自然环境下多类水果的精准检测,可为农业自动化采摘中的水果识别检测问题提供新的方案。

部分文件列表

文件名	大小
自然环境下多类水果采摘目标识别的通用改进SSD模型.pdf	8M

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

第34 卷第16 期

2018 年 8 月

农业工程学报

Vol.34 No.16

Aug. 2018

Transactions of the Chinese Society of Agricultural Engineering

155

自然环境下多类水果采摘目标识别的通用改进SSD 模型

彭红星¹，黄博¹，邵园园²，李泽森¹，张朝武¹，陈燕³，熊俊涛^1※

（1. 华南农业大学数学与信息学院/南方农业机械与装备关键技术教育部重点实验室，广州 510642；

2. 山东农业大学机械与电子工程学院，泰安 271018；3. 华南农业大学工程学院，广州 510642）

摘要：为解决当前自然环境下水果识别率不高、泛化性不强等问题，该文以苹果、荔枝、脐橙、皇帝柑 4 种水果为研

究对象，提出了一种改进的SSD（single shot multi-boxdetector）深度学习水果检测模型：将经典SSD 深度学习模型中的

VGG16 输入模型替换为ResNet-101 模型，并运用迁移学习方法和随机梯度下降算法优化SSD 深度学习模型。该文基于

Caffe 深度学习框架，对自然环境下采集的水果图像进行不同网络模型、不同数据集大小和不同遮挡比例等多组水果识别

检测效果对比试验。试验表明：改进的SSD 深度学习水果检测模型对4 种水果在各种环境下的平均检测精度达到88.4%，

高于经典SSD 深度学习模型中的86.38%，经过数据增强后平均检测精度可提升至89.53%，在遮挡面积低于50%的情况

下F₁值能达到96.12%，有较好的泛化性和鲁棒性，可以很好地实现自然环境下多类水果的精准检测，可为农业自动化采

摘中的水果识别检测问题提供新的方案。

关键词：图像识别；模型；算法；水果检测；深度学习；SSD；VGG16；ResNet-101

doi：10.11975/j.issn.1002-6819.2018.16.020

中图分类号：TP391.41

彭红星，黄博，邵园园，李泽森，张朝武，陈燕，熊俊涛. 自然环境下多类水果采摘目标识别的通用改进 SSD 模型

[J]. 农业工程学报，2018，34(16)：155－162. doi：10.11975/j.issn.1002-

文献标志码：A

文章编号：1002-6819(2018)-16-0155-08

Peng Hongxing, Huang Bo, Shao Yuanyuan, Li Zesen, Zhang Chaowu, Chen Yan, Xiong Juntao. General improved SSD model

for picking object recognition of multiple fruits in natural environment[J]. Transactions of the Chinese Society of Agricultural

Engineering (Transactions of the CSAE), 2018, 34(16): 155 －162. (in Chinese with English abstract)

10.11975/j.issn.1002-

doi ：

融合色差信息和归一化RGB 模型的分割技术，通过对分

割果实片段的椭圆拟合分析达到室外自然光照下的识别

目的，但是在初步分割阶段未排除光照影响；Wang 等^[5]

利用小波变换归一化荔枝图像减小光照影响，并采用基

于颜色 K-means 聚类算法从树叶和枝干中分割出荔枝图

像，虽然在没有遮挡的情况能够达到较高的识别率，但

是没有考虑到荔枝簇类生长的特性；Lü 等^[6]采用基于径

向基核函数的多分类支持向量机从树叶和枝干中分割出

柑橘果实，然而水果区域的训练像素选取非自适应且对

小目标水果识别不佳；Zhao 等^[7]应用残差变换绝对值和

的块匹配方法检测潜在的柑橘果实像素，构建一个支持

向量机实现较高的识别精确率，但是对于遮挡以及光照

不均匀水果的识别表现不佳。

0 引言^

自然环境下的水果识别检测是利用计算机视觉技术

获取水果目标位置信息，并将获得的位置信息传递给水

果采摘机器人的机械手臂，从而能够精确地进行后续的

水果采摘工作^[1]。因此，水果的目标检测是水果采摘自动

化领域的重要组成部分，近些年来，很多传统水果检测

识别算法相继提出。

Ji 等^[2]研究了基于区域生长和颜色特征分割的方法，

通过支持向量机识别提取的苹果颜色和形状特征，但是

对于叶面遮挡引起的平均误差率较大；Si 等^[3]设计一种双

目立体视觉的采摘机器人，通过RGB 颜色通道色差R-G

阈值和色差比例(R-G)/(G-B)定位苹果的像素位置，并通过

随机环方法确定水果的二维信息，然而需要水果进行复

杂的预处理且很难确定水果图像面积阈值；Lu 等^[4]提出

了一种基于颜色信息和轮廓片段的柑橘识别方法，采用

通常自然环境下获取的果蔬图像都具有较大的差异

性和复杂的背景噪声，上述传统的图像识别模型受限于

自身算法的局限性，无法找到通用的特征提取模型，只

能设计识别检测一种特定水果，泛化性不强，算法没有

得到很好的推广。Krizhevsky 等^[8]提出AlexNet 卷积神经

网络（convolutional neural network，CNN）架构在分类识

别中崭露头角，对图像的识别精度具有里程碑式的贡献。

CNN 具有非线性特征表达能力强，泛化性能好等优势，

能够很好地完成物体的识别检测任务，已用于水果识别^[9]

和病虫害的检测^[10-12]。近年来，相关研究人员利用不同

深度架构^[13-14]的CNN 不断刷新图像分类、识别的精确率，

水果图像检测技术也得到了进一步的发展。Suchet 等^[15]

收稿日期：2018-02-26

修订日期：2018-04-29

基金项目：国家自然科学基金项目（51578162，31571568，31701325）；广

东省自然科学基金项目（2015A030310258，2018A030313330）；山东省重点

研发计划（2016GNC112007）；广东省科技计划项目（2015A020209111）；

广州市科技计划项目（201802020032）

作者简介：彭红星，江西新余人，博士，副教授，主要从事机器视觉、农业

机器人研究。Email：。中国农业工程学会会员：彭红星

（E042100039M）

※通信作者：熊俊涛，湖北监利人，博士，副教授，主要从事农业机器人和

智能设计与制造研究。Email：

农业工程学报（）

2018 年

156

提出多尺度多层感知器和卷积神经网络 2 种特征提取算

法对苹果进行分割，但是只针对单类水果进行识别；傅

隆生等^[16]利用参数优化和结构约简的 LeNet 模型对田间

环境下的猕猴桃进行自主特征学习，但对于遮挡和重叠

果实没有达到很好的效果；Sa 等^[17]和熊俊涛等^[18]采用

Faster R-CNN 深度卷积神经网络分别构建甜椒和柑橘检

测系统，但其目标检测框过大，易导致目标检测不够精

准；Liu 等^[19]提出基于CNN 的SSD（single shot detector）

深度学习物体检测方法，实现兼顾速度的同时提高了检

训练模型对水果的训练图集进行训练，得到目标检测推

理模型，然后利用训练性能好的模型进行水果的检测测

试，得到检测结果。

2 水果检测模型结构

2.1 经典SSD深度学习模型

SSD 物体检测框架基于前馈卷积网络，在多层特征

图中产生固定大小的边界框集合和框中对象类别的置信

度，假设以x_i^p_j1表示第i 个默认框与类别p 的第j 个真

测的精度，有学者对其做了进一步的改进^[20-23]

。

实标签框相匹配，相反的不匹配则 ^p 0 。根据上述匹配

x_ij

本文以苹果、荔枝、脐橙、皇帝柑 4 种水果为研究

对象，对自然环境下采集的多类水果图像进行识别检测

技术研究，提出一种结合ResNet 的SSD 深度检测改进框

架，并训练端到端的识别检测推理模型，通过对水果识

别的多组试验对比，以期实现简化特征提取过程的同时

提高了水果识别的精度及其鲁棒性，为自然环境下的水

果采摘技术提供参考。

策略，当 ≥1 时意味着有多于一个与第j 个真实标签相

x_ij

匹配的默认框。检测框架的总体目标损失函数用式（1）

中位置损失（L_loc）和置信损失（L_conf）的加权和表示。

L(x,c,l, g) 

(

(x,c)  (x,l, g))

L_loc

（1）

L_conf

式中c 是Softmax 函数对每类别的置信度，N 是匹配

默认框的数量，权重项α 通过交叉验证设置为1。位置损

失是预测框（l）和真实标签框（g）之间的平滑L1 损失，

1 试验材料

可表示为

本文试验的荔枝、皇帝柑图像于 2017 年 6 月和 12

月使用Canon EOS 60D 相机采集自广东省广州市，图像

分辨率为5 184×3 456 像素，苹果、脐橙图像于2017 年6

月和 12 月使用手机采集自甘肃省天水市和江西省赣州

市，图像分辨率为3 024×4 032 像素。在原始数据集基础

上经过预处理缩放到表 1 中的大小，以减小后期特征提

取时对硬件处理的压力，并将处理后的数据集按照广泛

使用的PASCAL VOC^[24]竞赛的数据集格式分为如表1 所

示的训练集、验证集和测试集，训练集是随机从整体数

据集中独立同分布采样得到，且测试集和验证集互斥，保

证了后期评价标准的可靠性。验证集用于训练过程中确定

模型中的超参数，而测试集用于评估模型的泛化能力。

ˆ ^m

(x,l, g) 

( 

x_ijsmooth_L1l_i

)

（2）

g _j

L_loc

 

ipos mbox

SSD 的预测框和真实标签框之间的偏移回归类似于

Faster R-CNN^[25]方法，其中 box={cx、cy、w、h}表示预

测框中心坐标及其宽高，可用平移量d_i^cx、d_i^cy和尺度缩放

ˆ^m

因子d_i、d_i获取真实标签的近似回归预测框g _j(上标m

表示 cx、cy、w、h)，表示为

ˆ^cx

ˆ^cy

 (g^c_j^x d_i^cx)/ d_i^w

 (g^c_j^y d_i^cy)/ d_i^h

g _j

ˆ^h

ˆ^w

g_j log(g_j/ d_i) g_j log(g_j/ d_i)

（3）

置信损失可用如式（4）表示，其中 c_i^p表示类别 p

^p exp(c^p)/

exp(c^p)

。

表1 水果数据集种类及数量

Table 1 Category and quantity of fruit data sets

的第i 个默认框置信度，

c_i

_p

ˆ^p

ˆ⁰

(x,c)  

x log(c ) 

log(c )

（4）

数据集Data sets

L_conf



ipos

ineg

水果

Fruits

训练集

Training Validation

sets

236

验证集

测试集

Test sets

总数量

Total

分辨率

Resolution

SSD 框架如图1 所示，使用全卷积层的VGG16 作为

基础网络^[26]直接作用特征图预测多目标类别和外围框。

由于采用了单点多框检测方法，避免如Faster R-CNN 中

使用的候选区域方法，权衡了检测的精度和实时性，即使

对输入相对较低分辨率的图像也有很好地检测效果。

图 1 所示 SSD 针对 Conv4_3、FC7、Conv8_2、

Conv9_2、Conv10_2 和Conv11_2 特征层的每一个单元按

照不同长宽比分别提取4 到6 个默认框，最终获取8 732

个默认框，训练阶段利用式（1）为预测框做坐标偏移的

回归分析，使其尽可能接近标注框。测试阶段每一个默

认框都和标注框进行重叠率匹配，并按照匹配分数从高

到低排序，利用极大值抑制^[26]的方法，将检测结果进行

约简。

sets

200

600

636

500×333

荔枝Lichi

皇帝柑

Huang digan

脐橙

Navel orange

苹果Apple

300

274

270

1 170

119

490

500×375

186

223

180

747

589

375×500

1 105

1 033

2 885

总计 Total



数据集的标注包含感兴趣区域的 4 元组参数（X_min

Y_min, X_max, Y_max），分别表示标注框的左上角和右下角的坐

标，用于评测模型精确度时根据输出框与标注框重合率

大小判定匹配分数，为网络模型提供了预定义输出。训

练集标注的优劣在一定程度上决定了模型检测的精度，

因此训练集中标注的水果图像应该尽可能的覆盖各种光

照、角度、大小的变化。

2.2 改进的SSD深度学习水果检测模型

在用于自然环境下的水果识别检测过程中，该文采

用端到端的检测模型，首先利用ImageNet 数据集上的预

深度卷积神经网络使得图像的识别率相比传统的

识别方法有了长足的进步，从 AlexNet 的 8 层网络到

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

自然环境下多类水果采摘目标识别的通用改进SSD模型

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页