积分商城

最新搜索： KEA128 电源 路径规划 ide手册 传感器 跌倒
您现在的位置是：首页 > 技术资料 > 自然环境下多类水果采摘目标识别的通用改进SSD模型
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

自然环境下多类水果采摘目标识别的通用改进SSD模型

更新时间：2020-01-01 22:10:52 大小：8M 上传用户：songhuahua查看TA发布的资源 标签：水果采摘目标识别 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

为解决当前自然环境下水果识别率不高、泛化性不强等问题,该文以苹果、荔枝、脐橙、皇帝柑4种水果为研究对象,提出了一种改进的SSD(single shot multi-boxdetector)深度学习水果检测模型:将经典SSD深度学习模型中的VGG16输入模型替换为Res Net-101模型,并运用迁移学习方法和随机梯度下降算法优化SSD深度学习模型。该文基于Caffe深度学习框架,对自然环境下采集的水果图像进行不同网络模型、不同数据集大小和不同遮挡比例等多组水果识别检测效果对比试验。试验表明:改进的SSD深度学习水果检测模型对4种水果在各种环境下的平均检测精度达到88.4%,高于经典SSD深度学习模型中的86.38%,经过数据增强后平均检测精度可提升至89.53%,在遮挡面积低于50%的情况下F1值能达到96.12%,有较好的泛化性和鲁棒性,可以很好地实现自然环境下多类水果的精准检测,可为农业自动化采摘中的水果识别检测问题提供新的方案。


部分文件列表

文件名 大小
自然环境下多类水果采摘目标识别的通用改进SSD模型.pdf 8M

【关注B站账户领20积分】

部分页面预览

（完整内容请下载后查看）
第34 卷 第16 期  
2018 年 8 月  
农 业 工 程 学 报  
Vol.34 No.16  
Aug. 2018  
Transactions of the Chinese Society of Agricultural Engineering  
155  
自然环境下多类水果采摘目标识别的通用改进SSD 模型  
彭红星1，黄 博1，邵园园2，李泽森1，张朝武1，陈 燕3，熊俊涛1※  
（1. 华南农业大学数学与信息学院/南方农业机械与装备关键技术教育部重点实验室，广州 510642；  
2. 山东农业大学机械与电子工程学院，泰安 271018；3. 华南农业大学工程学院，广州 510642）  
摘 要：为解决当前自然环境下水果识别率不高、泛化性不强等问题，该文以苹果、荔枝、脐橙、皇帝柑 4 种水果为研  
究对象，提出了一种改进的SSD（single shot multi-boxdetector）深度学习水果检测模型：将经典SSD 深度学习模型中的  
VGG16 输入模型替换为ResNet-101 模型，并运用迁移学习方法和随机梯度下降算法优化SSD 深度学习模型。该文基于  
Caffe 深度学习框架，对自然环境下采集的水果图像进行不同网络模型、不同数据集大小和不同遮挡比例等多组水果识别  
检测效果对比试验。试验表明：改进的SSD 深度学习水果检测模型对4 种水果在各种环境下的平均检测精度达到88.4%，  
高于经典SSD 深度学习模型中的86.38%，经过数据增强后平均检测精度可提升至89.53%，在遮挡面积低于50%的情况  
下F1 值能达到96.12%，有较好的泛化性和鲁棒性，可以很好地实现自然环境下多类水果的精准检测，可为农业自动化采  
摘中的水果识别检测问题提供新的方案。  
关键词：图像识别；模型；算法；水果检测；深度学习；SSD；VGG16；ResNet-101  
doi：10.11975/j.issn.1002-6819.2018.16.020  
中图分类号：TP391.41  
彭红星，黄 博，邵园园，李泽森，张朝武，陈 燕，熊俊涛. 自然环境下多类水果采摘目标识别的通用改进 SSD 模型  
[J]. 农业工程学报，2018，34(16)：155－162. doi：10.11975/j.issn.1002-
文献标志码：A  
文章编号：1002-6819(2018)-16-0155-08  
Peng Hongxing, Huang Bo, Shao Yuanyuan, Li Zesen, Zhang Chaowu, Chen Yan, Xiong Juntao. General improved SSD model  
for picking object recognition of multiple fruits in natural environment[J]. Transactions of the Chinese Society of Agricultural  
Engineering (Transactions of the CSAE), 2018, 34(16): 155 －162. (in Chinese with English abstract)  
10.11975/j.issn.1002-
doi ：  
融合色差信息和归一化RGB 模型的分割技术，通过对分  
割果实片段的椭圆拟合分析达到室外自然光照下的识别  
目的，但是在初步分割阶段未排除光照影响；Wang 等[5]  
利用小波变换归一化荔枝图像减小光照影响，并采用基  
于颜色 K-means 聚类算法从树叶和枝干中分割出荔枝图  
像，虽然在没有遮挡的情况能够达到较高的识别率，但  
是没有考虑到荔枝簇类生长的特性；Lü 等[6]采用基于径  
向基核函数的多分类支持向量机从树叶和枝干中分割出  
柑橘果实，然而水果区域的训练像素选取非自适应且对  
小目标水果识别不佳；Zhao 等[7]应用残差变换绝对值和  
的块匹配方法检测潜在的柑橘果实像素，构建一个支持  
向量机实现较高的识别精确率，但是对于遮挡以及光照  
不均匀水果的识别表现不佳。  
0 引 言  
自然环境下的水果识别检测是利用计算机视觉技术  
获取水果目标位置信息，并将获得的位置信息传递给水  
果采摘机器人的机械手臂，从而能够精确地进行后续的  
水果采摘工作[1]。因此，水果的目标检测是水果采摘自动  
化领域的重要组成部分，近些年来，很多传统水果检测  
识别算法相继提出。  
Ji 等[2]研究了基于区域生长和颜色特征分割的方法，  
通过支持向量机识别提取的苹果颜色和形状特征，但是  
对于叶面遮挡引起的平均误差率较大；Si 等[3]设计一种双  
目立体视觉的采摘机器人，通过RGB 颜色通道色差R-G  
阈值和色差比例(R-G)/(G-B)定位苹果的像素位置，并通过  
随机环方法确定水果的二维信息，然而需要水果进行复  
杂的预处理且很难确定水果图像面积阈值；Lu 等[4]提出  
了一种基于颜色信息和轮廓片段的柑橘识别方法，采用  
通常自然环境下获取的果蔬图像都具有较大的差异  
性和复杂的背景噪声，上述传统的图像识别模型受限于  
自身算法的局限性，无法找到通用的特征提取模型，只  
能设计识别检测一种特定水果，泛化性不强，算法没有  
得到很好的推广。Krizhevsky 等[8]提出AlexNet 卷积神经  
网络（convolutional neural network，CNN）架构在分类识  
别中崭露头角，对图像的识别精度具有里程碑式的贡献。  
CNN 具有非线性特征表达能力强，泛化性能好等优势，  
能够很好地完成物体的识别检测任务，已用于水果识别[9]  
和病虫害的检测[10-12]。近年来，相关研究人员利用不同  
深度架构[13-14]的CNN 不断刷新图像分类、识别的精确率，  
水果图像检测技术也得到了进一步的发展。Suchet 等[15]  
收稿日期：2018-02-26  
修订日期：2018-04-29  
基金项目：国家自然科学基金项目（51578162，31571568，31701325）；广  
东省自然科学基金项目（2015A030310258，2018A030313330）；山东省重点  
研发计划（2016GNC112007）；广东省科技计划项目（2015A020209111）；  
广州市科技计划项目（201802020032）  
作者简介：彭红星，江西新余人，博士，副教授，主要从事机器视觉、农业  
机器人研究。Email：。中国农业工程学会会员：彭红星  
（E042100039M）  
※通信作者：熊俊涛，湖北监利人，博士，副教授，主要从事农业机器人和  
智能设计与制造研究。Email：
农业工程学报（）  
2018 年  
156  
提出多尺度多层感知器和卷积神经网络 2 种特征提取算  
法对苹果进行分割，但是只针对单类水果进行识别；傅  
隆生等[16]利用参数优化和结构约简的 LeNet 模型对田间  
环境下的猕猴桃进行自主特征学习，但对于遮挡和重叠  
果实没有达到很好的效果；Sa 等[17]和熊俊涛等[18]采用  
Faster R-CNN 深度卷积神经网络分别构建甜椒和柑橘检  
测系统，但其目标检测框过大，易导致目标检测不够精  
准；Liu 等[19]提出基于CNN 的SSD（single shot detector）  
深度学习物体检测方法，实现兼顾速度的同时提高了检  
训练模型对水果的训练图集进行训练，得到目标检测推  
理模型，然后利用训练性能好的模型进行水果的检测测  
试，得到检测结果。  
2 水果检测模型结构  
2.1 经典SSD深度学习模型  
SSD 物体检测框架基于前馈卷积网络，在多层特征  
图中产生固定大小的边界框集合和框中对象类别的置信  
度，假设以xipj 1表示第i 个默认框与类别p 的第j 个真  
测的精度，有学者对其做了进一步的改进[20-23]  
。
实标签框相匹配，相反的不匹配则 p 0 。根据上述匹配  
xij  
本文以苹果、荔枝、脐橙、皇帝柑 4 种水果为研究  
对象，对自然环境下采集的多类水果图像进行识别检测  
技术研究，提出一种结合ResNet 的SSD 深度检测改进框  
架，并训练端到端的识别检测推理模型，通过对水果识  
别的多组试验对比，以期实现简化特征提取过程的同时  
提高了水果识别的精度及其鲁棒性，为自然环境下的水  
果采摘技术提供参考。  
p
策略，当 ≥1 时意味着有多于一个与第j 个真实标签相  
xij  
匹配的默认框。检测框架的总体目标损失函数用式（1）  
中位置损失（Lloc）和置信损失（Lconf）的加权和表示。  
1
L(x,c,l, g)   
(
(x,c) (x,l, g))  
Lloc  
（1）  
Lconf  
N
式中c 是Softmax 函数对每类别的置信度，N 是匹配  
默认框的数量，权重项α 通过交叉验证设置为1。位置损  
失是预测框（l）和真实标签框（g）之间的平滑L1 损失，  
1 试验材料  
可表示为  
本文试验的荔枝、皇帝柑图像于 2017 年 6 月和 12  
月使用Canon EOS 60D 相机采集自广东省广州市，图像  
分辨率为5 184×3 456 像素，苹果、脐橙图像于2017 年6  
月和 12 月使用手机采集自甘肃省天水市和江西省赣州  
市，图像分辨率为3 024×4 032 像素。在原始数据集基础  
上经过预处理缩放到表 1 中的大小，以减小后期特征提  
取时对硬件处理的压力，并将处理后的数据集按照广泛  
使用的PASCAL VOC[24]竞赛的数据集格式分为如表1 所  
示的训练集、验证集和测试集，训练集是随机从整体数  
据集中独立同分布采样得到，且测试集和验证集互斥，保  
证了后期评价标准的可靠性。验证集用于训练过程中确定  
模型中的超参数，而测试集用于评估模型的泛化能力。  
N
ˆ m  
k
m
(x,l, g)   
(   
xijsmoothL1 li  
)
（2）  
g j  
Lloc  
   
ipos mbox  
SSD 的预测框和真实标签框之间的偏移回归类似于  
Faster R-CNN[25]方法，其中 box={cx、cy、w、h}表示预  
测框中心坐标及其宽高，可用平移量dicx、dicy 和尺度缩放  
w
h
ˆm  
因子di 、di 获取真实标签的近似回归预测框g j (上标m  
表示 cx、cy、w、h)，表示为  
ˆcx  
ˆcy  
(gcjx dicx )/ diw  
(gcjy dicy )/ dih  
g j  
g j  
ˆh  
ˆw  
w
w
h
h
gj log(gj / di ) gj log(gj / di )  
（3）  
置信损失可用如式（4）表示，其中 cip 表示类别 p  
p exp(cp )/  
exp(cp )  
。
i
表1 水果数据集种类及数量  
Table 1 Category and quantity of fruit data sets  
的第i 个默认框置信度，  
ˆ
ci  
p  
i
N
ˆp  
ˆ0  
p
ij  
(x,c)    
x log(c )   
log(c )  
（4）  
数据集Data sets  
Lconf  
i
i
ipos  
ineg  
水果  
Fruits  
训练集  
Training Validation  
sets  
236  
验证集  
测试集  
Test sets  
总数量  
Total  
分辨率  
Resolution  
SSD 框架如图1 所示，使用全卷积层的VGG16 作为  
基础网络[26]直接作用特征图预测多目标类别和外围框。  
由于采用了单点多框检测方法，避免如Faster R-CNN 中  
使用的候选区域方法，权衡了检测的精度和实时性，即使  
对输入相对较低分辨率的图像也有很好地检测效果。  
图 1 所示 SSD 针对 Conv4_3、FC7、Conv8_2、  
Conv9_2、Conv10_2 和Conv11_2 特征层的每一个单元按  
照不同长宽比分别提取4 到6 个默认框，最终获取8 732  
个默认框，训练阶段利用式（1）为预测框做坐标偏移的  
回归分析，使其尽可能接近标注框。测试阶段每一个默  
认框都和标注框进行重叠率匹配，并按照匹配分数从高  
到低排序，利用极大值抑制[26]的方法，将检测结果进行  
约简。  
sets  
200  
200  
600  
636  
500×333  
500×333  
荔枝Lichi  
皇帝柑  
Huang digan  
脐橙  
Navel orange  
苹果Apple  
300  
274  
270  
97  
1 170  
119  
490  
500×375  
186  
223  
180  
747  
589  
375×500  
1 105  
1 033  
2 885  
总计 Total  
数据集的标注包含感兴趣区域的 4 元组参数（Xmin  
,
Ymin, Xmax, Ymax），分别表示标注框的左上角和右下角的坐  
标，用于评测模型精确度时根据输出框与标注框重合率  
大小判定匹配分数，为网络模型提供了预定义输出。训  
练集标注的优劣在一定程度上决定了模型检测的精度，  
因此训练集中标注的水果图像应该尽可能的覆盖各种光  
照、角度、大小的变化。  
2.2 改进的SSD深度学习水果检测模型  
在用于自然环境下的水果识别检测过程中，该文采  
用端到端的检测模型，首先利用ImageNet 数据集上的预  
深度卷积神经网络使得图像的识别率相比传统的  
识别方法有了长足的进步，从 AlexNet 的 8 层网络到  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

资料专题

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号