推荐星级：

面向自然语言处理的深度学习研究

更新时间：2020-01-01 16:47:51 大小：1001K 上传用户：songhuahua 查看TA发布的资源 标签：深度学习 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

近年来,深度学习在图像和语音处理领域已经取得显著进展,但是在同属人类认知范畴的自然语言处理任务中,研究还未取得重大突破.本文首先从深度学习的应用动机、首要任务及基本框架等角度介绍了深度学习的基本概念;其次,围绕数据表示和学习模型两方面,重点分析讨论了当前面向自然语言处理的深度学习研究进展及其应用策略;并进一步介绍了已有的深度学习平台和工具;最后,对深度学习在自然语言处理领域的发展趋势和有待深入研究的难点进行了展望.

部分文件列表

文件名	大小
面向自然语言处理的深度学习研究.pdf	1001K

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

第 42 卷第 10 期

2016 年 10 月

自

动

化

学

报

Vol. 42， No. 10

October， 2016

ACTA AUTOMATICA SINICA

面向自然语言处理的深度学习研究

奚雪峰 ¹

周国栋 ¹

摘

要

近年来，深度学习在图像和语音处理领域已经取得显著进展，但是在同属人类认知范畴的自然语言处理任务中，研究

还未取得重大突破. 本文首先从深度学习的应用动机、首要任务及基本框架等角度介绍了深度学习的基本概念；其次，围绕数

据表示和学习模型两方面，重点分析讨论了当前面向自然语言处理的深度学习研究进展及其应用策略；并进一步介绍了已有

的深度学习平台和工具；最后，对深度学习在自然语言处理领域的发展趋势和有待深入研究的难点进行了展望.

关键词自然语言处理，深度学习，表示学习，特征学习，神经网络

引用格式奚雪峰，周国栋. 面向自然语言处理的深度学习研究. 自动化学报， 2016， 42（10）: 1445-1465

DOI 10.16383/j.aas.2016.c150682

A Survey on Deep Learning for Natural Language Processing

XI Xue-Feng¹

ZHOU Guo-Dong¹

Abstract Recently， deep learning has made signiﬁcant development in the ﬁelds of image and voice processing. However，

there is no major breakthrough in natural language processing task which belongs to the same category of human cognition.

In this paper， ﬁrstly the basic concepts of deep learning are introduced， such as application motivation， primary task

and basic framework. Secondly， in terms of both data representation and learning model， this paper focuses on the

current research progress and application strategies of deep learning for natural language processing， and further describes

the current deep learning platforms and tools. Finally， the future development diﬃculties and suggestions for possible

extensions are also discussed.

Key words Natural language processing， deep learning， representation learning， feature learning， neural network

Citation Xi Xue-Feng， Zhou Guo-Dong. A survey on deep learning for natural language processing. Acta Automatica

Sinica， 2016， 42（10）: 1445-1465

深度学习

通过建立深层神经

来看这个思路与人类学习机理非常吻合

网络模拟人脑的机制进行解释并分析学习图像、语

音及文本等数据是目前机器学习研究中的一个热

点领域传统机器学习工作的有效性很大程度上依

赖于人工设计的数据表示和输入特征的有效性机

器学习方法在这个过程中的作用仅仅是优化学习权

重以便最终输出最优的学习结果与传统机器学习

方法不同的是深度学习试图自动完成数据表示和

特征提取工作并且深度学习更强调通过学习过程

提取出不同水平、不同维度的有效表示以便提高不

同抽象层次上对数据的解释能力从认知科学角度

在面对大量感知数据的处理过程中人脑对其

中的重要信息有着特殊的敏感性例如即使是四岁

孩童放学时间站在校门口观望大量的接送家长总

是比较容易快速准确地发现家人熟悉的身影欣喜

地扑进家人的怀抱因此在人工智能研究领域中

对于如何模仿人脑开展高效的复杂数据处理引发

了研究者的极大兴趣其中从仿生学角度开展的人

脑生理结构研究以及从人脑应用角度开展的功能

研究是两个典型的研究方向前者体现研究对象的

结构特征后者体现研究对象的功能特征两类研究

又是互相渗透相互支撑例如在对哺乳类动物开

展的解剖研究中发现大脑皮质存在着层次化的系

列区域在此基础上神经科学研究人员又通过测试

视觉信号输入人脑视网膜后经大脑前额皮质层到达

运动神经的时间推断发现大脑皮质层的主要功能

在于将视觉信号通过复杂的多层网络模型后加以提

取观测信息而并未直接对视觉信号进行特征处理

这就说明人脑在识别物体过程中并未直接通过视

网膜投影的外部世界进行感知而是需要依靠经过

某种聚集和分解处理后的信息才能识别得到物体

收稿日期 2015-11-02 录用日期 2016-06-12

Manuscript received November 2， 2015； accepted June 12， 2016

国家自然科学基金（61331011， 61472264）资助

Supported by National Natural Science Foundation of China

（61331011， 61472264）

本文责任编委柯登峰

Recommended by Associate Editor KE Deng-Feng

1. 苏州大学计算机科学与技术学院苏州 215006 2. 苏州科技学院

电子与信息工程学院苏州 215009

3. 苏州市移动网络技术与应用重

点实验室苏州 215009

1. School of Computer Science and Technology， Soochow Uni-

versity， Suzhou 215006 2. School of Electronic and Informa-

tion Engineering， Suzhou University of Science and Technology，

Suzhou 215009 3. Suzhou Key Laboratory of Mobile Network-

ing and Applied Technologies， Suzhou 215009

1446

自

动

化

学

报

42 卷

这一过程中视皮层的功能主要是开展对视觉信号

的特征提取和计算而非简单重现视网膜图像这

种具有明确层次结构的人类视觉感知系统在大大降

低了视觉感知处理数据量的同时还能够保留被感

知物体关键的结构信息大脑这种分层次结构启发

了研究人员开展多层次神经网络的研究最早出现

的多层网络训练算法是采用初始值随机选定及梯度

的方式从未标注数据中学习到良好的结果但在面

对特定任务领域时有监督反馈算法用来初始化深

度结构的方式也有成功应用

尽管当前深度学习还未有完备的理论体系支撑

但并不妨碍在图像识别和语音识别等应用领域率先

结出累累硕果

年一种称为“深度神经网络

”的机器学习模型在

下降优化策略的

神经网络

图像识别领域的

评测上被采用把识别

是图像识别领域近年来的

但是这种多层结构的主要缺陷在于输入与输出间存

在的非线性映射导致能量函数或网络误差函数空间

含有多个局部极小点同时采用的又是使能量或误

差单一减小的搜索方向容易导致局部收敛最小而

非全局最优相关实验及理论^［1-2］发现局部收敛

最优的情况会随着网络层数的增加而变得越来越严

错误率从

最好结果而在此之前的

技术在语音识别领域也取得惊人效果降低语音识

降到

年同样类似的

别错误率达

产品的开发比如基于

声传译系统在

∽

从而大大推进了应用技术

技术的微软全自动同

年

月中国天津的一次公开

重似乎表明

算法在向多层深度结构方向发展

活动中流畅地实现了自动语音识别、英文到中文的

机器翻译以及合成中文语音输出的整个过程效果

震惊全场

上并无优势可言这在一定程度上影响了深度学习

的发展

浅层学习结构的共同特点是仅含一种将单个原

始输入信号映射到特定问题空间的简单特征结构

基本上可以认为这类模型带有一层或没有隐层节点

常见的此类结构有条件随机场

、隐马尔科夫模型

尽管深度学习已经在上述图像和语音处理领域

取得显著进展但是在同属人类认知范畴的自然语

言处理任务中应用还未有重大突破本文重点分析

了当前面向自然语言处理的深度学习研究进展并

探讨了深度学习在自然语言处理领域的可能发展空

间以图抛砖引玉下文第节描述深度学习的基本

概念第节围绕数据表示和学习模型两方面重点

分析讨论了当前深度学习在自然语言处理领域的研

究现状、应用策略及其平台工具第节对有待深入

研究的难点和发展趋势进行展望最后是结束语

、支持向量机

、多层感知器

及最大熵模型

等

这些模型大多应用在传统信号处理技术及机器学习

研究中存在着对复杂函数表示能力有限、对复杂问

题泛化处理能力不足的局限性^［3］

1 深度学习概述

这种情况直到

利用深度可信网络

构^［4］对组成

年才出现转机

等

结

深度结构

的每一层受限玻尔兹曼机

结构进行无

与传统浅层学习的不同之处在于首先深度学

监督学习训练并将其用于

别任务中取得了错误率仅为

手写数字识

的最好成绩^［5］

习要求模型结构必须具有足够的深度

常要求具有层以上的隐层节点有的甚至可能达

多层这种多层非线性映射结构有助于完成

通

不久之后

等也提出了一种基于自动编码

到

器

的相关算法同样取得了较好

复杂函数逼近其次深度学习特别强调特征学习的

重要性通过非监督预训练算法将输入原始样本

在原空间的特征逐层变化映射到一个新的特征空

间进而有可能使用新特征更加容易实现分类或预

测此外生成性预训练方法也避免了因为网络函数

结果^［6-7］这些算法尽管形式不同但他们都遵循

相同的原理即在每一层局部使用无监督的训练

算法以引导完成特征中间表示层的训练目标此

后其他一些非

深度学习算法也陆续提出^［8-9］

或非

结构的

年以来

自

表达能力过强而可能出现的过拟合

题

问

这些深度学习方法不仅在分类任务上取得显著结

果^{［6 10-15］}而且在时序预测^［16-17］、高维降秩^［18-19］

纹理建模^［20-21］、运动建模^［22-23］、对象分割^［24-25］

、

深度学习中深度的概念实际上来源于流图

的属性表示如图所示流图

、

信息抽取^［26-27］及自然语言处理领域^［28-30］都有

可用于表示一个输入输出过程中所涉及的计算图

中节点表示基本计算方法原始输入经过节点计算

后生成的结果作为下一个节点的输入逐步计算传

不俗表现此外尽管上述深度模型中普遍采用

、

和

结构能够以无监督

MNIST 是一个包含手写数字图片的数据集

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

面向自然语言处理的深度学习研究

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页