您现在的位置是：首页 > 技术资料 > 基于视觉显著性和脉冲耦合神经网络的成熟桑葚图像分割

推荐星级：

基于视觉显著性和脉冲耦合神经网络的成熟桑葚图像分割

更新时间：2019-12-30 13:31:01 大小：4M 上传用户：zhiyao6 查看TA发布的资源 标签：视觉显著性视觉显著性 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

为了提高在自然采摘环境中成熟桑葚机器视觉识别的有效性和鲁棒性,克服图像目标形态小、分布杂散、背景干扰多和光照不均匀等困难,该文提出了一种采用视觉显著性和脉冲耦合神经网络(pulse coupled neural network,PCNN)模型的成熟桑葚图像分割方法。该方法首先将采集的图像映射到Lab颜色空间,利用空间颜色分量的算术平均值和高斯滤波值之间的差异,构建起桑葚图像的频率调谐视觉显著图;其次,提取采集图像在HSI颜色空间的色调分量,经过均衡化处理后,与视觉显著图进行融合,实现桑葚目标的融合特征表达;最后,通过改进的分层阈值化脉冲耦合神经网络模型进行目标分割以及形态学处理,得到成熟桑葚的识别结果。利用从重庆市天府镇果桑生态园采集到的200余幅桑树挂果图像进行试验,结果表明,该方法能够在不同光照条件的复杂背景下,有效分割出成熟果实,平均误分率为1.87%,优于结合频率调谐视觉显著性的OTSU法(17.73%)、K-means聚类算法(10.69%)、基于Itti视觉显著性的PCNN分割方法(7.34%)和基于GBVS(graph-based visual saliency,GBVS)视觉显著性的PCNN分割方法(5.83%)。研究结果为成熟桑葚果实的智能化识别提供参考。

部分文件列表

文件名	大小
基于视觉显著性和脉冲耦合神经网络的成熟桑葚图像分割.pdf	4M

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

第33 卷第6 期

2017 年 3 月

农业工程学报

Vol.33 No.6

Mar. 2017

148

Transactions of the Chinese Society of Agricultural Engineering

基于视觉显著性和脉冲耦合神经网络的成熟桑葚图像分割

※

贺付亮^1,2，郭永彩¹，高潮¹，陈静³

（1. 重庆大学光电技术及系统教育部重点实验室，重庆 400044；2. 西南大学电子信息工程学院，重庆 400715；

3. 重庆市北碚区农业委员会，重庆 400700）

摘要：为了提高在自然采摘环境中成熟桑葚机器视觉识别的有效性和鲁棒性，克服图像目标形态小、分布杂散、背景

干扰多和光照不均匀等困难，该文提出了一种采用视觉显著性和脉冲耦合神经网络（pulse coupled neural network，PCNN）

模型的成熟桑葚图像分割方法。该方法首先将采集的图像映射到 Lab 颜色空间，利用空间颜色分量的算术平均值和高斯

滤波值之间的差异，构建起桑葚图像的频率调谐视觉显著图；其次，提取采集图像在 HSI 颜色空间的色调分量，经过均

衡化处理后，与视觉显著图进行融合，实现桑葚目标的融合特征表达；最后，通过改进的分层阈值化脉冲耦合神经网络

模型进行目标分割以及形态学处理，得到成熟桑葚的识别结果。利用从重庆市天府镇果桑生态园采集到的 200 余幅桑树

挂果图像进行试验，结果表明，该方法能够在不同光照条件的复杂背景下，有效分割出成熟果实，平均误分率为1.87%，

优于结合频率调谐视觉显著性的OTSU 法（17.73%）、K-means 聚类算法（10.69%）、基于Itti 视觉显著性的PCNN 分割

方法（7.34%）和基于GBVS（graph-based visual saliency，GBVS）视觉显著性的PCNN 分割方法（5.83%）。研究结果

为成熟桑葚果实的智能化识别提供参考。

关键词：图像分割；机器视觉；模型；桑葚；视觉显著性；频率调谐；脉冲耦合神经网络

doi：10.11975/j.issn.1002-6819.2017.06.019

中图分类号：TP391.41

贺付亮，郭永彩，高潮，陈静. 基于视觉显著性和脉冲耦合神经网络的成熟桑葚图像分割[J]. 农业工程学报，2017，

33(6)：148－155. doi：10.11975/j.issn.1002-

文献标志码：A

文章编号：1002-6819(2017)-06-0148-08

He Fuliang, Guo Yongcai, Gao Chao, Chen Jing. Image segmentation of ripe mulberries based on visual saliency and pulse

coupled neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017,

33(6): 148－155. (in Chinese with English abstract)

doi：10.11975/j.issn.1002-6819.2017.06.019

慧农业技术关注的热点之一^[6-8]。不少学者在苹果、葡萄

和草莓等果品上，利用图像分割技术，结合果实形状、

颜色等特征的识别方法（包括OTSU 法、K-means 法、模

糊C 均值聚类法、反向传播（back propagation，BP）神

经网络法、径向基（radial basis function，RBF）神经网

络法等），实现了成熟水果的智能化判断^[9-15]。但同时，

当前这些方法也存在着局限。 OTSU 等非监督分类方法

在复杂背景下小目标分割的效果不佳，BP、 RBF 等神经

网络监督分类方法存在着需要大量数据训练，迭代运算

时间长等不足。

0 引言

桑葚又名桑果，是落叶乔木桑树（Morus alba Linn）

的果实，是国家营养学会认定的 20 种食药同源果蔬之

一，其保健作用和营养价值早为人们熟知，具有较高的

市场价值^[1-3]。但是，桑葚属于浆果类果实，成熟后挂果

时间短，常温下12～18 h 即变色、脱落和腐烂^[4-5]，这就

需要对桑树挂果实时监测，快速识别其果实成熟情况。

然而，山丘地形的种植环境，加之人工的巡检方式，使

得当前桑葚成熟的监测工作处于劳动强度大、人力成本

高、效率低的状况。大面积的成熟果实无法及时监测和

采摘，从而出现大量落果，给果农带来了严重的经济损失。

所以，研究利用机器视觉方法实时、准确判断果实

成熟度，帮助成熟果品及时监测、采摘和储存，对于获

得最佳的果实采摘率，提高桑葚的有效利用率和果农的

经济效益都有着重要的意义。

桑葚成熟果实的视觉分割问题，相对于其他水果，

具有形状小（为多数小瘦果集合而成的聚花果^[16-17]），挂

果分布无规律，图像背景存在大量复杂干扰因素等特

点，所以直接应用当前方法，效果不佳。针对上述问题，

本文以采摘环境中桑葚的挂果图像为研究对象，提出了

一种结合频率调谐的视觉显著性和脉冲耦合神经网络的

成熟桑葚目标视觉分割方法，以期为成熟桑葚果实的智

能化识别提供参考。

近年来，对成熟果实的智能化识别研究已经成为智

收稿日期：2016-08-31

修订日期：2017-01-06

基金项目：教育部博士点基金（20130191110021）；中央高校基本业务费专

项资金资助（XDJK2013C157）

1 材料与方法

作者简介：贺付亮，男，重庆人，讲师，主要从事农业信息化及测控技术研

究。重庆西南大学电子信息工程学院，400715。Email：

※通信作者：郭永彩，女，重庆人，教授，博士生导师，主要从事光电技术

及智能化仪器、数字信号处理研究；重庆重庆大学光电技术及系统教育部

重点实验室，400044。Email：

1.1桑树挂果图像采集

桑树挂果图像的采集地点在重庆市北碚区天府镇果

桑生态园，平均海拔为600 m，处于山坡地形，规模化种

植了龙桑、红果等各类果桑，面积达200 hm²。课题组于

第6 期

贺付亮等：基于视觉显著性和脉冲耦合神经网络的成熟桑葚图像分割

149

2016 年5 月桑葚成熟期间，利用Canon EOS70D 数码相

机采集了200 余幅的桑树挂果图像，包括90 幅龙桑，90

幅红果和20 余幅白玉王。拍摄时间为白天，包含了阳光

照射充足的晴天和无太阳直射的多云阴天等天气条件。

拍摄光照为自然环境光照，在 4 种情况下对成熟桑葚进

行成像，包含了晴天太阳光均匀照射，晴天太阳光非均

匀照射（采集图像出现较强的背景光点干扰），晴天遮阴

（桑葚处于叶片等遮盖物阴影下），阴天光照（没有太阳

直射，光照不足但相对均匀）。拍摄图像分辨率为 3 648

×5 472 像素，拍摄距离为30～80 cm。本文算法进行试

验时，会将所采集图像压缩至720×1 280 像素，这样可

进一步集成到“桑葚生长远程智能监测物联网系统”

中，匹配其监控摄像头的分辨率。

上的颜色分量，b 表达了黄/蓝轴上的颜色分量。通过L、

a、b 3 个分量的几何距离差异，可以较好的区别出同一

图像中不同的颜色区域，且3 个分量相互之间独立性高，

所以适合于做目标显著性的特征表达。因此，本文在此

空间引入了对成熟桑葚目标的频率调谐视觉显著性描

述，使之成为识别目标的特征之一。色调是 HSI 颜色空

间中的 H 分量，该分量在此空间中单独控制颜色，具有

光照不变性。可以用来弥补在 Lab 空间上，表达成熟桑

葚显著性时受光照不均匀所带来的影响。

本文方法所涉及的Lab、HSI 颜色空间的相关分量获

取均通过数码相机的CMOS传感器所获取的RGB颜色空

间模式表达的JPEG 图像转换得来。

1.2.2 频率调谐的视觉显著性表达

1.2 成熟桑葚分割方法

频率调谐（frequency-tuned，FT）是图像的视觉显著

性的一种检测方法，由Achanta 等学者在2009 年从图像

频率成分分析的角度提出，定义了在 Lab 空间下整幅图

像的颜色均值与每一个像素点经过高斯滤波后所获得的

本文提出的成熟桑葚图像分割方法流程如图1 所示。

首先对采集图像进行颜色空间分量的提取，分别选取Lab

颜色空间三分量和HSI 颜色空间的色调（hue，H）分量。

然后利用整幅图像在 Lab 空间上各分量的算术平均值与

每一个像素点经过高斯滤波后所获值之间的差异，得到

原图像基于频率调谐的视觉显著性表达。另一方面，对

色调分量进行均衡化处理，处理后的结果与显著图进行

特征融合，从而形成脉冲耦合神经网络模型（pulse

coupled neural network，PCNN）的输入图像。最后，经

过改进的分层阈值化 PCNN 模型和相关形态学处理，得

到成熟桑葚的识别结果。

颜色值之间的差异，来表达其视觉显著性^[19-20]

：

S(x, y) = I - I (x, y) =

ω_hc

（1）

(L_μ- L )²+ (a_μ- a )²+ (b_μ-b

)

ω_hc

其中，

■

ꢁ

ꢀ

ꢂ

L_μ

I_μ= a_μ

（2）

（3）

ꢁ

ꢂ

b_μ

ꢃ

ꢄ

■

ꢀ

^hcꢂ

ꢂ

L_ω

ꢁ

I_ω(x, y) = a_ω

ꢁ

^hcꢂ

ꢁ

ꢂ

ω_hc

ꢃ

ꢄ

式中S(x, y) 表示了像素点(x, y) 的频率调谐视觉显著性

值，下标μ 表示了采集原始图像 Lab 空间特征分量的算

术平均值，下标ω_hc表示了高斯滤波后图像每个像素点的

特征分量； I 为各个特征分量算术平均值矩阵；

(x, y) 为每一像素点经过高斯滤波后各个特征分量矩

ω_hc

阵； · 表示了欧式距离求解。

图 1 采用频率调谐视觉显著性和 PCNN 的

这里，高斯滤波器是利用了多个高斯差分的结合成

为带通滤波器，这样就形成了一个多尺度边缘检测器，

成熟桑葚目标分割算法流程图

Fig.1 Flow chart of ripe mulberries segmentation

algorithm based on frequency-tuned visual saliency and PCNN

表达为：

N -1

F =

DoG(x, y) =

∑

1.2.1 颜色空间的选取

n=0

N -1

自然天气光照条件下获取的桑树挂果图像，受环境

影响，存在着光照不均匀、阴影遮挡和色温变化等特点，

使得成熟桑葚的颜色特征表达应选取合适的颜色空间。

CIE Lab 颜色空间是由国际照明委员会（commission

internationale de l’eclairage，CIE）制定的一种数字化描述

的均匀色彩空间，该色彩空间基于人眼对自然颜色的感

知形成^[18]。其中，L 表达了亮度层分量，a 表达了红/绿轴

n+1

■

ꢀ

G(x, y, ρ σ ) -G(x, y, ρ σ )

∑

（4）

ꢃ

ꢄ

n=0

式中F_N表示为带通滤波器， N 为高斯差分的数目，

DoG(x, y) 为高斯差分函数；G(x, y, ρⁿσ ) 表示为在像素

点(x, y) 处高斯滤波算子，σ 为其算子的标准差，ρⁿ为

标准差调节因子。该带通滤波器通过结合N 个高斯差分

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

基于视觉显著性和脉冲耦合神经网络的成熟桑葚图像分割

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页