您现在的位置是：首页 > 技术资料 > 基于改进空洞卷积神经网络的丘陵山区田间道路场景识别

推荐星级：

基于改进空洞卷积神经网络的丘陵山区田间道路场景识别

更新时间：2019-12-31 11:30:58 大小：5M 上传用户：songhuahua 查看TA发布的资源 标签：卷积神经网络 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

基于机器视觉的自主导航是智能农业机械的主要导航方式之一.丘陵山区复杂的田间道路场景,使得智能农机在田间道路上的自主导航与避障存在较大的困难.该文根据丘陵山区田间道路图像特征,将田间道路场景对象分为背景、道路、行人、植被、天空、建筑、牲畜、障碍、水塘、土壤和杆等11类,构建了基于空洞卷积神经网络的田间道路场景图像语义分割模型.该模型包括前端模块和上下文模块,前端模块为VGG-16融合空洞卷积的改进结构,上下文模块为不同膨胀系数空洞卷积层的级联,采用两阶段训练方法进行训练.利用CAFFE深度学习框架将改进的网络模型与经典的FCN-8s网络模型进行了对比测试,并进行了道路阴影的适应性测试.语义分割测试结果表明:Front-end+Large网络的统计像素准确率、类别平均准确率以及平均区域重合度都最高,而FCN-8s网络最低;Front-end+Large网络在无阴影道路训练集和有阴影道路训练集上的平均区域重合度分别为73.4％和73.2％,对阴影干扰有良好的适应性.该文实现了丘陵山区田间道路场景像素级的预测,能为智能农业机械在田间道路上基于机器视觉的自主导航和避障奠定基础.

部分文件列表

文件名	大小
基于改进空洞卷积神经网络的丘陵山区田间道路场景识别.pdf	5M

立即下载

【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

第35 卷第7 期

2019 年 4 月

农业工程学报

Vol.35 No.7

Apr. 2019

150

Transactions of the Chinese Society of Agricultural Engineering

基于改进空洞卷积神经网络的丘陵山区田间道路场景识别

李云伍^1,2，徐俊杰¹，刘得雄^1,2，于尧³

（1. 西南大学工程技术学院，重庆 400716；2. 丘陵山区农业装备重庆市重点实验室，重庆 400716；

3. 贵州省山地农业机械研究所，贵阳 550002）

摘要：基于机器视觉的自主导航是智能农业机械的主要导航方式之一。丘陵山区复杂的田间道路场景，使得智能农机

在田间道路上的自主导航与避障存在较大的困难。该文根据丘陵山区田间道路图像特征，将田间道路场景对象分为背景、

道路、行人、植被、天空、建筑、牲畜、障碍、水塘、土壤和杆等11 类，构建了基于空洞卷积神经网络的田间道路场景

图像语义分割模型。该模型包括前端模块和上下文模块，前端模块为 VGG-16 融合空洞卷积的改进结构，上下文模块为

不同膨胀系数空洞卷积层的级联，采用两阶段训练方法进行训练。利用CAFFE 深度学习框架将改进的网络模型与经典的

FCN-8s 网络模型进行了对比测试，并进行了道路阴影的适应性测试。语义分割测试结果表明：Front-end + Large 网络的

统计像素准确率、类别平均准确率以及平均区域重合度都最高，而FCN-8s 网络最低；Front-end + Large 网络在无阴影道

路训练集和有阴影道路训练集上的平均区域重合度分别为73.4%和73.2%，对阴影干扰有良好的适应性。该文实现了丘陵

山区田间道路场景像素级的预测，能为智能农业机械在田间道路上基于机器视觉的自主导航和避障奠定基础。

关键词：农机；导航；机器视觉；田间道路；场景识别；语义分割；空洞卷积神经网络

doi：10.11975/j.issn.1002-6819.2019.07.019

中图分类号：TP183

李云伍，徐俊杰，刘得雄，于尧. 基于改进空洞卷积神经网络的丘陵山区田间道路场景识别[J]. 农业工程学报，2019，

35(7)：150－159. doi：10.11975/j.issn.1002-

文献标志码：A

文章编号：1002-6819(2019)-07-0150-10

Li Yunwu, Xu Junjie, Liu Dexiong, Yu Yao. Field road scene recognition in hilly regions based on improved dilated convolutional

networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(7): 150－159.

(in Chinese with English abstract)

doi：10.11975/j.issn.1002-6819.2019.07.019

近年来在道路场景理解研究中，Oliveira 等^[4]使用卷

积神经网络（convolutional neural networks，CNN）算法

学习场景中的高阶特征进行单目道路场景分割，通过应

用在一个普通图像数据集上的训练算法对其他测试图像

进行分类，生成训练标签；然后使用基于颜色层融合的

新纹理描述子来获取道路区域的最大一致性；最后将离

线和在线信息结合起来对城市道路区域进行检测。

Coombes 等^[5]提出基于HSV（hue saturation value）色彩

空间的语义分割算法，使用CNN 来分割解释场景，通过

训练基于颜色的贝叶斯网络分类器对每个分割的聚类进

行语义分类，利用亮度特征识别飞机场滑行道上的表面

线，然后与 CNN 分割相融合，给出改进的分类结果。

Wang 等^[6]提出一种利用相对位置先验信息和语义分割相

联合的方法来估计城市道路布局和分割城市场景。Cordts

等^[7]和Zhang 等^[8]利用多传感器信息融合技术提高城市交

通道路场景理解的准确性。Chen 等^[9]提出了一种基于视

差建议的检测方法，在立体视差的基础上快速提取检测

对象的候选帧，保证了候选帧在不同扰动下的鲁棒性。

上述文献的场景理解方法基本上是为解决特定结构

化场景下的智能导航问题而提出，具有特定的功能，仅

适用于特定的环境。由于基于卷积神经网络的深度学习

能够自动学习图像的层级特征，在物体识别和像素标注

上表现出优秀性能，因此成为图像语义分割的重要方法

之一。轩永仓^[10]将大田场景对象分为 7 类，采用基于全

卷积神经网络 VGG-16 结构的 FCN-32s、FCN-16s 和

0 引言

丘陵山区占中国国土面积的 70%左右，是中国粮油

糖作物及薯类、果桑茶麻、蔬菜、青饲料等特色经济作

物的重要生产基地^[1]。农村劳动力的缺乏以及生产率提升

的迫切需求，使得丘陵山区亟需各种自动化程度高、安

全性好的智能农业机械。机器视觉系统是智能农机搭载

的主要环境感知装备之一，其主要任务是完成对可行驶

区域、障碍物或作物的检测。丘陵山区田间道路场景复

杂，道路宽度不一、曲率变化大、形态复杂，路内路边

杂草泥土等障碍物散布，给智能农机的自主导航与避障

带来较大的困难。因此，针对丘陵山区田间道路的复杂

场景识别研究变得尤为重要。

根据识别的内容和范围，基于图像处理的道路场景识

别可分为低层次的道路识别和高层次的道路场景理解^[2]。道

路识别一般采用图像分割法将道路区域和非道路区域区

分开。道路场景理解则是在像素级对场景中检测到的各

类对象进行语义分割，能够更精确地识别出道路区域及

周围的环境对象，为自主导航和避障提供支持。在道路

场景识别方法中，深度学习具有精准性高、鲁棒性强等

优点，成为道路场景识别的重要发展方向^[3]。

收稿日期：2019-01-31

修订日期：2019-03-11

基金项目：贵州省科技支撑计划项目（[2019]2384）

作者简介：李云伍，副教授，博士，主要从事智能农业机械与动力系统研究。

Email：

第7 期

李云伍等：基于改进空洞卷积神经网络的丘陵山区田间道路场景识别

151

FCN-8s 3 种模型进行语义分割，测试结果表明 FCN-8s

的总体效果最好，在大田应用场景下的统计像素准确率

可达 90.87%。该模型应用场景为平原大田环境，图像较

为简单，训练集分辨率为 256×256 像素，对分割的细节

要求不高。张利刚^[11]将VGG-16 中的18 层卷积层和池化

层均改为空洞卷积层和空洞池化层，构建了全空洞卷积

神经网络，使用该网络在MIT Scene Parsing Dataset 下训

练测试，统计像素准确率达到 72.81%，比 FCN-8s 高

下道路的颜色和纹理特征差异较大。这些复杂的场景特

征为田间道路及道路上障碍物的识别带来较大困难。因

此，要实现智能农机在田间道路上基于机器视觉的自主

导航，需通过多重处理区分出田间道路、周围环境，以

及道路上的物体。

本文根据田间道路环境特征以及自主导航的需要，

将田间道路图像中的对象分为11 种类别，分别是“背景、

道路、行人、植被、天空、建筑、牲畜、障碍、池塘、

1.49%。该方法未保留池化层，网络采用了大量膨胀信息，土壤和杆”，其定义见表1。对“道路、土壤、植被、建

对一些大物体有较好分割效果，但对小物体的分割不够

准确，边缘也较模糊。

筑、池塘”分类的目的在于实现后续自主导航的局部路

径规划；对“行人、牲畜、障碍”分类是便于后续自主

行驶中的自动避障；对“杆”分类是便于后期对路牌和

标志牌的识别。

本文针对丘陵山区田间道路无车道线、边界模糊、

环境复杂多变等特点，利用全卷积神经网络 VGG-16 结

构，融合空洞卷积构造预测精度更高的前端模块，并利

用不同膨胀系数空洞卷积层的级联进行多尺度上下文聚

合，构建了基于改进空洞卷积神经网络的田间道路场景

识别模型，对复杂非结构化田间道路图像进行语义分割，

以获取道路的可行区域和障碍物等信息，为后续丘陵山

区智能农机的自主导航奠定基础。

表1 丘陵山区田间道路场景对象分类

Table 1 Classification of field road scene objects in hilly areas

分类

Classification

背景

定义

Definition

指不符合以下任何一种情况的分类。

Background

指供农业机械行驶及行人行走的道路，包括所有的小路、

所有方向上的道路。该区域范围由当前没有较大纹理变化

的主路划定，例如巷道、环道和院坝（房前的平地）等可

供农机行驶的区域也属于该分类。该分类不包括仅有土壤

的道路。

道路

Road

1 丘陵山区田间道路场景对象分类

道路一般分为结构化道路和非结构化道路^[12]。目前

针对结构化道路的图像识别技术相对成熟。非结构化道

路一般指无车道线和无明显边界的非主干道或乡村道

路。对非结构化道路的准确识别是当前道路环境感知的

主要研究内容之一^[13]。

指能够移动的人物，例如行走中、站立中、坐在地上和凳

子上的人。该分类同时包括人携带的任何不触碰地面的东

西，例如背包。

行人

Person

指树木、草和各种植物。附着在建筑物上的植物，当覆盖

表面区域超过20%时标记为植被，否则为建筑。以土壤、

道路、水塘等为后景重叠的树枝，当树枝直径＞18 cm 时标

记为植被，否则标记为后景所属分类。

植被

Vegetation

指没有树叶覆盖的空旷天空。天空前面的细电线、鸟类等

也归类为天空。

天空

Sky

随着丘陵山区农田整治与农田基础设施建设的推

进，田间、居民点、仓库之间普遍建立起 0.8～1.2 m 宽

的田间便道^[14]（如图1 所示）。

指房屋、住宅、车库、围墙等建筑。当该建筑拥有可透视

的玻璃时，玻璃区域仍视为建筑。

建筑

Building

指狗、鸡、牛、羊等可移动并影响到道路环境的动物，非

人工豢养的动物也归于此类。

牲畜

Livestock

指占据路面的手推车、化肥、落石、树干等高度＞20 cm 的

不动物体，以及深度＞10 cm、直径＞8 cm 的坑洞。

障碍

Obstacle

池塘

Pond

土壤

Soil

指比湖泊小的水体或人造的水池等。

指连续覆盖于地表的土壤圈层。土壤区域上植被覆盖少于

20%时也视为土壤，否则视为植被。

指较小的主要朝向竖直的金属杆、木杆、水泥杆等，例如

电线杆、路牌。如果“杆”具有水平部分（如干字型杆塔

和路牌基板），这部分也被认为是“杆”。

杆

Pole

2 图像样本数据集建立

2.1 数据集获取

本文田间道路场景图像语义分割的主要目的是实现

智能农机在田间道路上的自主导航与避障，因此以前期

研制的自主行驶田间道路搬运车^[1]为图像采集平台，以获

取真实的行驶过程中的道路图像。如图 2 所示，该搬运

车整车尺寸1 130 mm×530 mm×822 mm（长×宽×高），

轮距450 mm，轴距760 mm。图像采集模块为RER-720P

高清摄像头，最高分辨率为1280×720 像素。摄像头离地

高度800 mm，光轴中心与地面夹角15°。搬运车以2 m/s

的速度行驶，摄像头采集道路场景真实视频数据后存储

于笔记本电脑中，再剪辑选取帧图像。

图1 丘陵山区田间道路场景图像语义分割实例

Fig.1 Example of semantic segmentation of field road scene in

hilly areas

这些道路属于典型的非结构化道路，主要特点包括：

1）道路形状变化多样，蜿蜒曲折，坡度大；2）路况复

杂，道路两旁多为不同类型的作物和杂草，道路边缘多

被杂草和作物枝叶覆盖，路面上的阴影千差万别；3）路

面状况受季节和天气的影响较大，不同季节和天气情况

为提高构建的场景理解模型算法的鲁棒性，使其适

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

基于改进空洞卷积神经网络的丘陵山区田间道路场景识别

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页