积分商城

最新搜索： 推完开关电源 CH340 排插 入门教程 canopen layout
您现在的位置是：首页 > 技术资料 > 面向自然语言处理的深度学习研究
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

面向自然语言处理的深度学习研究

更新时间：2020-01-01 16:47:51 大小：1001K 上传用户：songhuahua查看TA发布的资源 标签：深度学习 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

近年来,深度学习在图像和语音处理领域已经取得显著进展,但是在同属人类认知范畴的自然语言处理任务中,研究还未取得重大突破.本文首先从深度学习的应用动机、首要任务及基本框架等角度介绍了深度学习的基本概念;其次,围绕数据表示和学习模型两方面,重点分析讨论了当前面向自然语言处理的深度学习研究进展及其应用策略;并进一步介绍了已有的深度学习平台和工具;最后,对深度学习在自然语言处理领域的发展趋势和有待深入研究的难点进行了展望.


部分文件列表

文件名 大小
面向自然语言处理的深度学习研究.pdf 1001K

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
第 42 卷 第 10 期  
2016 年 10 月  
自
动
化
学
报
Vol. 42， No. 10  
October， 2016  
ACTA AUTOMATICA SINICA  
面向自然语言处理的深度学习研究  
奚雪峰 1  
2
3
周国栋 1  
摘
要
近年来， 深度学习在图像和语音处理领域已经取得显著进展， 但是在同属人类认知范畴的自然语言处理任务中， 研究  
还未取得重大突破. 本文首先从深度学习的应用动机、首要任务及基本框架等角度介绍了深度学习的基本概念； 其次， 围绕数  
据表示和学习模型两方面， 重点分析讨论了当前面向自然语言处理的深度学习研究进展及其应用策略； 并进一步介绍了已有  
的深度学习平台和工具； 最后， 对深度学习在自然语言处理领域的发展趋势和有待深入研究的难点进行了展望.  
关键词 自然语言处理， 深度学习， 表示学习， 特征学习， 神经网络  
引用格式 奚雪峰， 周国栋. 面向自然语言处理的深度学习研究. 自动化学报， 2016， 42（10）: 1445-1465  
DOI 10.16383/j.aas.2016.c150682  
A Survey on Deep Learning for Natural Language Processing  
2
3
XI Xue-Feng1  
ZHOU Guo-Dong1  
Abstract Recently， deep learning has made significant development in the fields of image and voice processing. However，  
there is no major breakthrough in natural language processing task which belongs to the same category of human cognition.  
In this paper， firstly the basic concepts of deep learning are introduced， such as application motivation， primary task  
and basic framework. Secondly， in terms of both data representation and learning model， this paper focuses on the  
current research progress and application strategies of deep learning for natural language processing， and further describes  
the current deep learning platforms and tools. Finally， the future development difficulties and suggestions for possible  
extensions are also discussed.  
Key words Natural language processing， deep learning， representation learning， feature learning， neural network  
Citation Xi Xue-Feng， Zhou Guo-Dong. A survey on deep learning for natural language processing. Acta Automatica  
Sinica， 2016， 42（10）: 1445-1465  
深度学习  
通过建立深层神经  
来看 这个思路与人类学习机理非常吻合  
网络 模拟人脑的机制进行解释并分析学习图像、语  
音及文本等数据 是目前机器学习研究中的一个热  
点领域 传统机器学习工作的有效性 很大程度上依  
赖于人工设计的数据表示和输入特征的有效性 机  
器学习方法在这个过程中的作用仅仅是优化学习权  
重以便最终输出最优的学习结果 与传统机器学习  
方法不同的是 深度学习试图自动完成数据表示和  
特征提取工作 并且深度学习更强调 通过学习过程  
提取出不同水平、不同维度的有效表示 以便提高不  
同抽象层次上对数据的解释能力 从认知科学角度  
在面对大量感知数据的处理过程中 人脑对其  
中的重要信息有着特殊的敏感性 例如即使是四岁  
孩童 放学时间站在校门口观望大量的接送家长 总  
是比较容易快速准确地发现家人熟悉的身影 欣喜  
地扑进家人的怀抱 因此 在人工智能研究领域中  
对于如何模仿人脑开展高效的复杂数据处理 引发  
了研究者的极大兴趣 其中 从仿生学角度开展的人  
脑生理结构研究 以及从人脑应用角度开展的功能  
研究 是两个典型的研究方向 前者体现研究对象的  
结构特征 后者体现研究对象的功能特征 两类研究  
又是互相渗透 相互支撑 例如 在对哺乳类动物开  
展的解剖研究中发现 大脑皮质存在着层次化的系  
列区域 在此基础上 神经科学研究人员又通过测试  
视觉信号输入人脑视网膜后经大脑前额皮质层到达  
运动神经的时间 推断发现大脑皮质层的主要功能  
在于将视觉信号通过复杂的多层网络模型后加以提  
取观测信息 而并未直接对视觉信号进行特征处理  
这就说明 人脑在识别物体过程中 并未直接通过视  
网膜投影的外部世界进行感知 而是需要依靠经过  
某种聚集和分解处理后的信息才能 识 别 得 到 物 体  
收稿日期 2015-11-02 录用日期 2016-06-12  
Manuscript received November 2， 2015； accepted June 12， 2016  
国家自然科学基金 （61331011， 61472264） 资助  
Supported by National Natural Science Foundation of China  
（61331011， 61472264）  
本文责任编委 柯登峰  
Recommended by Associate Editor KE Deng-Feng  
1. 苏州大学计算机科学与技术学院 苏州 215006 2. 苏州科技学院  
电子与信息工程学院 苏州 215009  
3. 苏州市移动网络技术与应用重  
点实验室 苏州 215009  
1. School of Computer Science and Technology， Soochow Uni-  
versity， Suzhou 215006 2. School of Electronic and Informa-  
tion Engineering， Suzhou University of Science and Technology，  
Suzhou 215009 3. Suzhou Key Laboratory of Mobile Network-  
ing and Applied Technologies， Suzhou 215009  
1446  
自
动
化
学
报
42 卷  
这一过程中 视皮层的功能主要是开展对视觉信号  
的特征提取和计算 而非简单重现视网膜图像 这  
种具有明确层次结构的人类视觉感知系统在大大降  
低了视觉感知处理数据量的同时 还能够保留被感  
知物体关键的结构信息 大脑这种分层次结构启发  
了研究人员开展多层次神经网络的研究 最早出现  
的多层网络训练算法是采用初始值随机选定及梯度  
的方式从未标注数据中学习到良好的结果 但在面  
对特定任务领域时 有监督反馈算法用来初始化深  
度结构的方式也有成功应用  
尽管当前深度学习还未有完备的理论体系支撑  
但并不妨碍在图像识别和语音识别等应用领域率先  
结出累累硕果  
年 一种称为“深度神经网络  
”的机器学习模型在  
下降优化策略的  
神经网络  
图像识别领域的  
评测上被采用 把识别  
是图像识别领域近年来的  
但是这种多层结构的主要缺陷在于输入与输出间存  
在的非线性映射导致能量函数或网络误差函数空间  
含有多个局部极小点 同时采用的又是使能量或误  
差单一减小的搜索方向 容易导致局部收敛最小而  
非全局最优 相关实验及理论［1-2］ 发现 局部收敛  
最优的情况会随着网络层数的增加而变得越来越严  
错误率从  
最好结果 而在此之前的  
技术在语音识别领域也取得惊人效果 降低语音识  
降到  
年 同样类似的  
别错误率达  
产品的开发 比如基于  
声传译系统 在  
∽
从而大大推进了应用技术  
技术的微软全自动同  
年
月中国天津的一次公开  
重 似乎表明  
算法在向多层深度结构方向发展  
活动中流畅地实现了自动语音识别、英文到中文的  
机器翻译以及合成中文语音输出的整个过程 效果  
震惊全场  
上并无优势可言 这在一定程度上影响了深度学习  
的发展  
浅层学习结构的共同特点是仅含一种将单个原  
始输入信号映射到特定问题空间的简单特征结构  
基本上可以认为这类模型带有一层或没有隐层节点  
常见的此类结构有条件随机场  
、隐马尔科夫模型  
尽管深度学习已经在上述图像和语音处理领域  
取得显著进展 但是在同属人类认知范畴的自然语  
言处理任务中 应用还未有重大突破 本文重点分析  
了当前面向自然语言处理的深度学习研究进展 并  
探讨了深度学习在自然语言处理领域的可能发展空  
间 以图抛砖引玉 下文第 节描述深度学习的基本  
概念 第 节围绕数据表示和学习模型两方面 重点  
分析讨论了当前深度学习在自然语言处理领域的研  
究现状、应用策略及其平台工具 第 节对有待深入  
研究的难点和发展趋势进行展望 最后是结束语  
、支持向量机  
、多层感知器  
及最大熵模型  
等
这些模型大多应用在传统信号处理技术及机器学习  
研究中 存在着对复杂函数表示能力有限、对复杂问  
题泛化处理能力不足的局限性［3］  
1 深度学习概述  
这种情况直到  
利用深度可信网络  
构［4］ 对组成  
年才出现转机  
等
结
深度结构  
的每一层受限玻尔兹曼机  
结构进行无  
与传统浅层学习的不同之处在于 首先 深度学  
1
监督学习训练 并将其用于  
别任务中 取得了错误率仅为  
手写数字识  
的最好成绩［5］  
习要求模型结构必须具有足够的深度  
常要求具有 层以上的隐层节点 有的甚至可能达  
多层 这种多层非线性映射结构 有助于完成  
通
不久之后  
等也提出了一种基于自动编码  
到
器
的相关算法 同样取得了较好  
复杂函数逼近 其次 深度学习特别强调特征学习的  
重要性 通过非监督预训练算法 将输入原始样本  
在原空间的特征 逐层变化 映射到一个新的特征空  
间 进而有可能使用新特征更加容易实现分类或预  
测 此外 生成性预训练方法也避免了因为网络函数  
结果［6-7］ 这些算法尽管形式不同 但他们都遵循  
相同的原理 即在每一层局部使用无监督的训练  
算法 以引导完成特征中间表示层的训练目标 此  
后 其他一些非  
深度学习算法也陆续提出［8-9］  
或非  
结构的  
年以来  
自
表达能力过强而可能出现的过拟合  
题
问
这些深度学习方法不仅在分类任务上取得显著结  
果［6 10-15］ 而且在时序预测［16-17］、高维降秩［18-19］  
纹理建模［20-21］、运动建模［22-23］、对象分割［24-25］  
、
深度学习中深度的概念 实际上来源于流图  
的属性表示 如图 所示 流图  
、
信息抽取［26-27］ 及自然语言处理领域［28-30］ 都有  
可用于表示一个输入输出过程中所涉及的计算 图  
中节点表示基本计算方法 原始输入经过节点计算  
后生成的结果 作为下一个节点的输入 逐步计算传  
不俗表现 此外 尽管上述深度模型中 普遍采用  
、
和
结构 能够以无监督  
MNIST 是一个包含手写数字图片的数据集

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号