推荐星级：

自然语言处理中的深度学习：方法及应用

更新时间：2019-12-25 08:00:36 大小：710K 上传用户：zhiyao6 查看TA发布的资源 标签：自然语言处理 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

该文围绕特征表示和模型原理,以神经网络语言模型与词向量作为深度学习与自然语言处理结合的切入点,概述了当前主要深度神经网络的模型原理和相关应用。之后综述了当前研究人员在自然语言处理热点领域上所使用的最新深度学习方法并及所取得的成果。最后总结了深度学习方法在当前自然语言处理研究应用中所遇到的瓶颈,并对未来可能的研究重点做出展望。

部分文件列表

文件名	大小
自然语言处理中的深度学习：方法及应用.pdf	710K

立即下载

部分页面预览

（完整内容请下载后查看）

第 46 卷第 6 期

2017年11月

电子科技大学学报

Vol.46 No.6

Nov. 2017

Journal of University of Electronic Science and Technology of China

自然语言处理中的深度学习：方法及应用

林奕欧，雷航，李晓瑜，吴佳

(电子科技大学信息与软件工程学院成都 610054)

【摘要】该文围绕特征表示和模型原理，以神经网络语言模型与词向量作为深度学习与自然语言处理结合的切入点，概

述了当前主要深度神经网络的模型原理和相关应用。之后综述了当前研究人员在自然语言处理热点领域上所使用的最新深度

学习方法并及所取得的成果。最后总结了深度学习方法在当前自然语言处理研究应用中所遇到的瓶颈，并对未来可能的研究

重点做出展望。

关键词深度学习; 深度神经网络; 语言模型; 自然语言处理; 词向量

中图分类号 TP391

文献标志码

doi:10.3969/j.issn.1001-0548.2017.06.021

Deep Learning in NLP: Methods and Applications

LIN Yi-ou, LEI Hang, LI Xiao-yu, and WU Jia

(School of Information and Software Engineering, University of Electronic Science and Technology of China Chengdu 610054)

Abstract With the rise of deep learning waves, the full force of deep learning methods has hit the Natural

Language Process (NLP) and ushered in amazing technological advances in many different application areas of

NLP. In this article, we firstly present the development history, main advantages and research situation of deep

learning. Secondly, in terms of both feature representation and model theory, we introduces the neural language

model and word embedding as the entry point, and present an overview of modeling and implementations of Deep

Neural Network (DNN). Then we focus on the newest deep learning models with their wonderful and competitive

performances related to different NLP tasks. At last, we discuss and summarize the existing problems of deep

learning in NLP with the possible future directions.

Key words deep learning; deep neural networks; language models; nature language process; word

embedding

作为机器学习和人工智能领域发展最为迅速的

研究方向，深度学习受到学术界和工业界的高度关

注。深度学习是基于特征自学习和深度神经网络

(DNN)的一系列机器学习算法的总称。目前深度学

习的研究有了长足的发展，在传统特征选择与提取

框架上取得了巨大突破，对包括自然语言处理、生

物医学分析、遥感影像解译在内的诸多领域产生越

来越重要的影响，并在计算机视觉和语音识别领域

取得了革命性的成功。

情感分析、自动文摘、句法分析和共指消解等。自

然语言作为高度抽象的符号化系统，文本间的关系

难以度量，相关研究高度依赖人工构建特征。而深

度学习方法的优势恰恰在于其强大的判别能力和特

征自学习能力，非常适合自然语言高维数、无标签

和大数据的特点。为此，本文将对当前深度学习如

何应用在NLP领域展开综述性讨论，并进一步分析

其中的应用难点和未来可能的突破方向。

1 深度学习研究现状

当前，如何应用深度学习技术解决自然语言处

理(NLP)相关任务是深度学习的研究热点。NLP作为

计算机科学与人工智能交叉领域中的重要研究方

向，综合了语言学、计算机科学、逻辑学、心理学、

人工智能等学科的知识与成果。其主要研究任务包

括词性标注、机器翻译、命名实体识别、机器问答、

深度学习源于人工神经网络的研究。人工神经

网络(artificial neural network, ANN)作为计算工具是

由文献[1]引入。之后，Hebb自组织学习规则、感知

机模型、Hopfield神经网络、玻尔兹曼机、误差反向

传播算法和径向基神经网络等也相继被提出。文献

收稿日期：2016  07  04；修回日期：2017  03  27

基金项目：国家自然科学基金(61502082)；中央高校基本科研业务费(ZYGX2014J065)

作者简介：林奕欧(1991  )，男，博士生，主要从事自然语言处理和深度学习方面的研究.

电子科技大学学报

第 46 卷

914

[2]利用逐层贪心算法初始化深度信念网络，开启了

深度学习的浪潮，指出深度学习的本质是一种通用

的特征学习方法，其核心思想在于提取低层特征，

组合形成更高层的抽象表示，以发现数据的分布规

律。文献[2]的方法有效地缓解了DNN层数增加所带

来的梯度消失或者梯度爆炸问题。随后文献[3]使用

自动编码机取代深度信念网络的隐藏层，并通过实

验证明了DNN的有效性。同时，研究发现人类信息

处理机制需要从丰富的感官输入中提取复杂结构并

重新构建内部表示，使得人类语言系统和感知系统

都具有明显的层结构^[4]，这从仿生学的角度，为DNN

多层网络结构的有效性提供了理论依据。

文献[9]构建的神经网络语言模型如图1所示，仅有一

层隐藏层络，使用softmax计算词序的概率，并通过

随机梯度上升法最大惩罚似然估计以训练网络参数。

p(on|the cat sat)

softmax

跨层的连接

(可选)

特征学习

the

cat

sat

此外，深度学习的兴起还有赖于大数据和机器

计算性能的提升。大数据是具有大量性、多样性、

低价值密度性的数据的统称，深度学习是处理大数

据常用的方法论，两者有紧密的联系。以声学建模

为例，其通常面临的是十亿到千亿级别的训练样本，

实验发现训练后模型处于欠拟合状态，因此大数据

需要深度学习^[5]。另外，随着图形处理器(graphics

processing unit, GPU)的发展，有效且可扩展的分布

式GPU集群的使用大大加速了深度模型的训练过

程，极大地促进了深度学习在业界的使用。

图1 基于神经网络的语言模型

在文献[9]的基础上，文献[10]从语料中自动学

习出词的层次结构，并结合受限玻尔兹曼机提出了

HLBL模型。文献[11]又在文献[10]的基础上提出

SENNA模型，通过对一个句子的合理性进行打分以

训练词向量，在多项NLP任务上成功应用。之后文

献[12]复现了HLBL模型和SENNA模型，并比较了二

者的优劣。文献[13]在SENNA的基础上，对每个词

向量的训练加入了相应的全局信息，并用多个词向

量对应一个词以解决词的多义性问题。不同于其他

人的工作，文献[6]使用了循环神经网络来训练语言

模型，并在2013年开源word2vec。从HLBL模型开始，

研究语言模型的目的不再是获得真正的语言模型而

在于获得可用的词向量。

目前，NLP应用逐渐成为深度学习研究中又一

活跃热点。2013年，随着词向量word2vec^[6]的兴起，

各种词的分布式特征相关研究层出不穷。2014年开

始，研究者使用不同的DNN模型，例如卷积网络，

循环网络和递归网络，在包括词性标注、情感分析、

句法分析等传统NLP应用上取得重大进展。2015年

后，深度学习方法开始在机器翻译、机器问答、自

动文摘、阅读理解等自然语言理解领域攻城略地，

逐渐成为NLP的主流工具。在未来几年，深度学习

将持续在自然语言理解领域做出巨大影响^[7]。

2.2 词向量

词向量通常指通过语言模型学习得到的词的分

布式特征表示，也被称为词编码，可以非稀疏的表

示大规模语料中复杂的上下文信息。目前最为人所

熟知的有以下6种公开发布的词向量：HLBL、

SENNA、Turian’s、Huang’s、word2vec、Glove^[14]

。

2 分布式特征表示

文献[15]发现word2vec词向量间具有语义上的联系，

即词向量的加减存在明显的语义关系，并在SemEval

2012 task上取得超过Turian词向量的结果，证明了

word2vec的高可用性。文献[16]证明了当word2vec

词向量使用skip-gram模型配合负采样技术训练时，

与基于SVD的共现矩阵分解的词向量具有相同的最

优解。同年文献[14]提出了Glove词向量，并证明基

于矩阵的词向量可以取得远比word2vec优异的性

能，但根据文献[17]提出的测评指标显示word2vec

在大部分测评指标优于Glove和SENNA。除了使用

词向量解决当前自然语言测评任务外，也有许多学

分布式特征表示(distributional representation)是

深度学习与NLP相结合的切入点，这些分布式特征

是通过神经网络语言模型学习得到的。

2.1 神经网络语言模型

语言模型是计算任意词序在文本中出现的概率

的统计模型，是NLP的基础性课题，对语音识别、

词性标注、机器翻译、句法分析等研究都有至关重

要的作用。神经网络生成的语言模型称为神经网络

语言模型，由文献[8]提出。之后文献[9]等对神经网

络语言模型进行了深入研究，其成果引起广泛关注。

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

自然语言处理中的深度学习：方法及应用

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

资料专题

推荐下载

专栏首页