您现在的位置是：首页 > 技术资料 > 基于卷积神经网络提取多尺度分层特征识别玉米杂草

推荐星级：

基于卷积神经网络提取多尺度分层特征识别玉米杂草

更新时间：2019-12-26 10:12:30 大小：2M 上传用户：IC老兵查看TA发布的资源 标签：卷积神经网络 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

为提高作物与杂草识别的准确率、稳定性和实时性,该文以幼苗期玉米及杂草为研究对象,提出了基于卷积神经网络提取多尺度分层特征的玉米杂草识别方法。首先建立卷积神经网络模型,以从图像的高斯金字塔中提取多尺度分层特征作为识别依据,再与多层感知器相连接实现图像中各像素的识别;为了避免目标交叠所带来的问题,对图像进行超像素分割,通过计算每个超像素内部的平均像素类别分布确定该超像素块的类别,再将相同类别的相邻超像素合并,最终实现图像中各目标的识别。试验结果表明:该方法的平均目标识别准确率达98.92%,标准差为0.55%,识别单幅图像的平均耗时为1.68 s,采用GPU硬件加速后识别单幅图像的平均耗时缩短为0.72 s。该方法实现了精确、稳定和高效的玉米与杂草识别,研究可为精确除草的发展提供参考。

部分文件列表

文件名	大小
基于卷积神经网络提取多尺度分层特征识别玉米杂草.pdf	2M

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

第34 卷

2018 年

第5 期

3 月

农业工程学报

Vol.34 No.5

Mar. 2018

144

Transactions of the Chinese Society of Agricultural Engineering

基于卷积神经网络提取多尺度分层特征识别玉米杂草

王璨，武新慧，李志伟^※

（山西农业大学工学院，太谷 030801）

摘要：为提高作物与杂草识别的准确率、稳定性和实时性，该文以幼苗期玉米及杂草为研究对象，提出了基于卷积神

经网络提取多尺度分层特征的玉米杂草识别方法。首先建立卷积神经网络模型，以从图像的高斯金字塔中提取多尺度分

层特征作为识别依据，再与多层感知器相连接实现图像中各像素的识别；为了避免目标交叠所带来的问题，对图像进行

超像素分割，通过计算每个超像素内部的平均像素类别分布确定该超像素块的类别，再将相同类别的相邻超像素合并，

最终实现图像中各目标的识别。试验结果表明：该方法的平均目标识别准确率达98.92%，标准差为0.55%，识别单幅图

像的平均耗时为1.68 s，采用GPU 硬件加速后识别单幅图像的平均耗时缩短为0.72 s。该方法实现了精确、稳定和高效

的玉米与杂草识别，研究可为精确除草的发展提供参考。

关键词：作物；图像识别；图像分割；杂草识别；深度学习；卷积神经网络；超像素

doi：10.11975/j.issn.1002-6819.2018.05.019

中图分类号：TP274; TP391. 41

王璨，武新慧，李志伟. 基于卷积神经网络提取多尺度分层特征识别玉米杂草[J]. 农业工程学报，2018，34(5)：144

－151. doi：10.11975/j.issn.1002-

文献标志码：A

文章编号：1002-6819(2018)-05-0144-08

Wang Can, Wu Xinhui, Li Zhiwei. Recognition of maize and weed based on multi-scale hierarchical features extracted by

convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),

2018, 34(5): 144 － 151. (in Chinese with English abstract)

doi ： 10.11975/j.issn.1002-6819.2018.05.019

有效识别，但识别准确率偏低，无法达到实际应用的需

要。随着机器学习方法的发展，神经网络和SVM（support

vector machine）等具有数据学习能力的数学网络模型被

应用于杂草识别的研究中，在识别准确率方面取得了重

要的突破^[11-14]。主要方法是将提取到的图像特征记录为数

据向量的形式，利用这些数据对模型进行训练，训练后

的模型能够对不同的特征数据进行分类，实现作物与杂

草的识别。该类方法能够达到较高的识别准确率，不足

之处在于识别效果依赖于人工设计特征的好坏，而且对

于图像的预处理有一定程度的要求，因此在实际应用中

识别效果并不稳定。在后续的杂草识别研究中，主要以

新型图像特征的发掘和提取为主，基于多类图像特征的

融合与机器学习算法^[15-19]，达到提高识别准确率与稳定

性的目的。笔者研究团队在该方面也进行了探索^[20]，采

用双目视觉技术提取图像目标的高度特征，利用融合高

度、形态和纹理特征的SVM 模型识别作物与杂草，获得

了较为稳定的高识别准确率。不足之处在于特征提取方

法复杂，实时性较弱。总结他人的研究可以发现，自然

且多样化的特征表达能够提高识别模型的准确率和稳定

性，但依然存在以下两个主要问题。一方面，人工设计

的特征提取器难以获得最接近目标自然属性的特征表

达，所得特征的识别能力有限。另一方面，图像的预处

理效果对识别结果存在重要影响，尤其是作物与杂草交

叠的分割处理，对于交叠程度较大的目标，常难以分割

或在不影响其各自特征表达的情况下进行分割，造成实

际识别准确率和稳定性的降低。

0 引言

除草是作物处于幼苗阶段所必须及时进行的工作，

是保证农作物高产的必要条件^[1]。目前，人工除草的原始

方式已被基本淘汰，进而广泛采用大面积喷洒除草剂的

化学除草方法^[2]，其优点是实施成本低且适用于各类农田

地形。最大的缺点在于除草剂消耗量大，在使用过程中

必然影响大量非标靶生物^[3]，破坏农田生物环境平衡^[4]，

残留除草剂也会威胁人类健康。在2015 年，农业部明确

了“双减”的目标来治理农业面源污染^[5]，即通过技术手

段和管理方式减少农业中化肥和农药的使用，实现农业

的可持续发展。在此基础上，不依赖于除草剂的智能化

机械除草设备被广泛研究^[6]。其所要解决的关键问题在于

如何实现作物和杂草的精确识别以及达到实时性要求的

识别速度。因此，研究精确、快速的作物杂草识别方法

具有重要意义。

当前杂草识别研究中，被广泛采用与采纳的是基于

机器视觉的识别方法。以往学者研究中所采用的主要方

法是根据作物和杂草在图像中所呈现出的不同特征表达

来对各类目标进行区分，所提取的图像特征包括：颜色、

纹理和形态等^[7-10]。该类方法能够基本实现作物与杂草的

收稿日期：2017-09-19

修订日期：2018-01-06

基金项目：国家重点研发计划（2017YFD0701501）

作者简介：王璨，男，博士生，主要从事农业信息技术及应用研究。

Email：

※通信作者：李志伟，男，教授，博士生导师，主要从事精细农业装备和生

物环境测控技术研究。Email：

为解决上述两方面问题，本文以玉米和杂草为研究

第5 期

王璨等：基于卷积神经网络提取多尺度分层特征识别玉米杂草

145

对象，提出了基于多尺度分层特征的玉米杂草识别方法。

该研究依赖于深度学习算法，首先建立多尺度卷积神经

网络模型从图像的多个尺度中提取分层特征作为依据，

对图像中各像素目标进行识别，再利用超像素方法^[21]产

生原图像的过分割，由每个超像素内全部像素的平均类

别确定该超像素的类别，再将相同类别的相邻超像素合

并，实现图像中玉米和杂草目标的识别与分割。该方法

将卷积神经网络与超像素分割相结合，先识别像素目标，

进而识别出玉米和杂草目标，有以下两个特点：1）卷积

神经网络提取的多尺度分层特征表达能实现像素目标的

分类识别。2）通过像素目标的类别确定每个超像素的类

别，再合并相同类别的超像素，完成目标物的识别与分

割，能够有效避免目标交叠所带来的问题，取得更稳定

的识别效果。本文对所提出的方法进行试验研究，以期

在识别准确率、稳定性和实时性上获得提升，为智能化

机械除草的发展提供参考。

a. 玉米样本

a. Maize sample

b. 杂草样本

b. Weed sample

图1 用于训练的样本图像示例

Fig.1 Example images for training

在已有相关研究中，以多特征融合建模的识别方法

为主，其中融合高度与图像特征的支持向量机模型表现

优秀^[20]，因此利用该方法进行对比试验，进一步来验证

基于卷积神经网络提取多尺度分层特征的识别方法在目

标识别准确率、系统稳定性和运算实时性方面的表现。

1.2 多尺度分层特征

多尺度分层特征是一种在尺度空间中具有不变性和

一致性的场景级特征，允许将较大的图像环境（可以和

整个场景一样大）应用到局部识别决策中，包含适当居

中且缩放的目标及分层的自然属性，为预测潜在的目标

类别提供了良好的基础。

1 材料与方法

1.1 图像采集与试验设计

该研究以玉米及其伴生杂草作为研究对象进行识别

试验，并分析系统性能。图像采集工作于2017 年7 月在

山西农业大学试验田中完成，采集设备为工业数字相机

（MV- VDM120SC，维视图像，中国），主要参数为：CCD

传感器，最大分辨率 1 280×960 像素，帧率 30 帧/s，

USB3.0 接口。相机距地面60 cm，采用垂直方式采集图

像。当玉米幼苗处于2～5 叶期间进行4 次图像采集，所

采集的样本图像为幼苗期玉米及 6 种常见的伴生杂草，

包括马齿苋、马唐、藜、牛筋草、反枝苋和画眉草。每

次图像采集均在 3 种不同光线状态下进行，代表除草时

可能的环境条件。初始采集到的原图像大小为 640×480

像素，为加快建模进程、提高识别效率，将图像大小压

缩为320× 240 像素。利用这些图像建立图像库，共包含

图像 550 幅。样本图像从真实田间环境中采集，玉米及

杂草生长位置复杂，大部分图像中包含多个目标，这与

实际应用情况相同。由于多尺度卷积神经网络能够自动

从图像的各局部提取特征，所以样本图像可直接用于本

文方法的训练与测试。为了更均匀地抽取训练集与测试

集，将含有玉米目标的图像记为玉米样本，其他图像记

为杂草样本。得到玉米样本图像 260 幅，各类杂草样本

图像290 幅。

1.2.1 卷积神经网络提取特征

在视觉分析中，像素组成边缘片段，边缘片段组成

图案，图案组成物体，物体组成场景^[24]。卷积神经网络

（convolutional neural network，CNN）提供了一种简单的

框架来学习这样的视觉层次特征^[25-29]

。

在本研究中，为了实现图像中每一个像素目标的类

别预测，本文结合 CNN 与多尺度方法，即将 CNN 网络

权值复制到尺度空间的多个尺度中。

给定一个输入图像I，对其进行快速局部拉普拉斯滤

波^[30]，以增强目标图像的细节，如图 2 所示。构造该图

像的多尺度金字塔X_s，s ∈{1, 2, ···, N} ，其中 X₁与原图像

I 在同一尺度中，拥有相同的尺寸。本文所构建的多尺度

金字塔为高斯金字塔，通过 Burt 等提出的方法^[31-32]进行

计算，所得每层图像面积为上层图像的1/4，图像分辨率

的缩小比例为2。

对每幅样本图像中各像素所处位置的目标类别进行

标记，获得每幅样本图像的标签矩阵，用于模型的训练

和测试。采用 5 折交叉验证法对识别模型的性能进行评

估。首先将全部图像样本分成 5 个子样本集，每个子样

本集包含样本图像110 幅，其中玉米样本图像52 幅，杂

草样本图像58 幅，均从图像库中随机且不重复地抽取。

每个子样本集（110 幅图像）作为测试集1 次，其余4 个

子样本集合并在一起（共 440 幅图像）组成训练集。用

于训练的示例样本图像如图 1 所示。在试验中对训练集

图像进行水平翻转处理，将训练集样本量扩展为原来的1

倍。更多的样本参与训练能够减少过拟合、加强模型的

稳定性^[22-23]。试验完成后，计算识别准确率和系统运行

时间，求取平均值与标准差，用以衡量模型性能。

图2 多尺度图像金字塔

Fig.2 Multi-scale image pyramid

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

基于卷积神经网络提取多尺度分层特征识别玉米杂草

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页