积分商城

最新搜索： LPC824 ad库文件 NSA2860 半桥 PID控制LABVIEW ICNM8001
您现在的位置是：首页 > 技术资料 > 基于深度信念网络的事件识别
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于深度信念网络的事件识别

更新时间：2019-12-24 12:26:45 大小：1M 上传用户：zhiyao6查看TA发布的资源 标签：深度信念网络 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

事件识别是信息抽取的重要基础.为了克服现有事件识别方法的缺陷,本文提出一种基于深度学习的事件识别模型.首先,我们通过分词系统获得候选词并将它们分为五种类型.然后选择六种识别特征并制定相应的特征表示规则用来将词转化为向量样例.最后我们通过深度信念网络抽取词的深层语义信息,并由Back-Propagation(BP)神经网络识别事件.实验显示模型最高F值达85.17%.同时,本文还提出了一种融合无监督和有监督两种学习方式的混合监督深度信念网络,该网络能够提高识别效果(F值达89.2%)并控制训练时间(增加27.50%).


部分文件列表

文件名 大小
基于深度信念网络的事件识别.pdf 1M

部分页面预览

（完整内容请下载后查看）
6
Vol． 45 No． 6  
Jun． 2017  
第
期
电
子
学
报
2017  
6
ACTA ELECTRONICA SINICA  
年
月
基于深度信念网络的事件识别  
， ，  
张亚军 刘宗田 周 文  
(
，
上海大学计算机工程与科学学院 上海  
200444)  
:
． ，  
事件识别是信息抽取的重要基础 为了克服现有事件识别方法的缺陷 本文提出一种基于深度学习的  
摘
要
． ， ．  
事件识别模型 首先 我们通过分词系统获得候选词并将它们分为五种类型 然后选择六种识别特征并制定相应的特  
． ，  
征表示规则用来将词转化为向量样例 最后我们通过深度信念网络抽取词的深层语义信息 并由  
Back-Propagation  
( BP) ． F 85. 17% ．  
神经网络识别事件 实验显示模型最高 值达  
，
同时 本文还提出了一种融合无监督和有监督两种学习  
，
方式的混合监督深度信念网络 该网络能够提高识别效果  
( F  
89. 2% ) ( 27. 50% ) ．  
并控制训练时间 增加  
值达  
:
;
;
;
;
关键词  
中图分类号  
URL: http: / /www． ejournal． org． cn  
事件识别 深度学习 识别特征 特征表示 混合监督  
:
TP391  
:
A
: 0372-2112 ( 2017) 06-1415-09  
DOI: 10． 3969 /j． issn． 0372-2112． 2017． 06． 020  
文献标识码  
文章编号  
电子学报  
Event Recognition Based on Deep Belief Network  
ZHANG Ya-jun，LIU Zong-tian，ZHOU Wen  
( School of Computer Engineering and Science，Shanghai University，Shanghai 200444，China)  
Abstract: Event recognition is critical to information extraction． To overcome limitations of the exiting event recogni-  
tion approaches，we proposed an event recognition model based on deep learning ( DL-ERM) ． Firstly，we acquired candidate  
words through a word segmentation system and classified them into five categories． Then，we selected six recognition feature  
layers and constructed corresponding feature representation rules to convert words into vector samples． Finally，we employed  
a deep belief network ( DBN) to extract deep semantic features of words，and used a back propagation neural network to i-  
dentify events． The results of experiments show that the maximum F-measure is 85. 17% ． Furthermore，we presented a hy-  
brid-supervised DBN，which combines the unsupervised and supervised learning． The novel DBN improves the recognition  
performance ( 89. 2% F-measure) and effectively controls the training time ( increased by 27. 50% ) ．  
Key words: event recognition; deep learning; recognition feature; feature representation; hybrid supervision  
［6，7］  
［8，9］  
［10 ～ 13］  
、
别技术在自动文摘  
自动问答  
和信息检索  
1
研究背景  
．
等领域有着广泛的应用 现有的事件识别方法主要有  
自然语言组织的文本通过事件来表达更高层次的  
．
基于规则以及浅层的机器学习两种 基于规则的方法  
．
语义信息 识别文本中的事件就可以理解文本表达的  
，
主要是通过手工自定义事件模板 采用各种模式匹配  
［14］  
， ，  
确切含义 有利于对文本进行结构化的分析 为实现基  
．
算法将文本与自定义的事件模板进行匹配 姜吉发  
［1 ～ 5］  
．
于事件的自然语言处理打下坚实的基础  
在自然语  
，
提出了一种具有可移植性的事件模式的获取方法 可  
， ．  
言组织的文本中 我们通过触发词来标识事件 触发词  
．
以从一个原始语料中自动学出相应的事件模式 陈群  
［15］  
，
是事件发生的重要标志 其在句子中包含的信息量通  
秀等 提出了一种基于框架的信息抽取模式并建立了  
． : ．  
常最大 例如 汶川发生地震 地震就是这个句子中的触  
， -  
统一的灾难性事件框架 利用框架的继承 归纳特性简  
［16］  
， ， ．  
发词 该事件属于地震事件 它的地点要素是汶川 在任  
， ．  
化系统实现过程 概括事件信息 冯礼 基于事件框架  
， ， ．  
何事件中 触发词是必不可少的 其他要素可以缺省 所  
，
的突发事件信息抽取使用预定义的事件框架 进行新  
．
以事件识别的本质就是触发词的识别  
，
闻要素的信息抽取 同时探测事件框架中未事先设定  
，
作为自然语言处理领域的热门研究方向 事件识  
， ．  
的新侧面信息 对事件框架进行补充 基于浅层的机器  
: 2015-10-22;  
2016-06-23;  
:
责任编辑 梅志强  
收稿日期  
修回日期  
:
基金项目 国家自然科学基金项目  
( No． 61273328，No． 61305053，No． 71203135)  
1416  
2017  
年
电
子
学
报
、
学习方法把重点放在分类器的构建和特征的发现 选  
2
深度信念网络  
、 ，  
择 组合上 把事件识别看成分类问题  
． 2002 Chieu  
年
和
［17］  
2. 1  
受限玻尔兹曼机  
Ng  
，
首次将最大熵分类器 引入到事件抽取中 并用该  
( Restricted Boltzmann Machine，  
受限 玻 尔 兹 曼 机  
．
分类器完成了对事件及其要素的识别 付剑锋等用依  
［20］  
RBM)  
Hinton  
等
是由  
提出的一种生成式随机神经网  
，
存分析发掘触发词与其它词之间的句法关系 并以此  
， 1 ， ，  
络 如图 所示 该网络由可见单元和隐藏单元构成 两  
Support Vector Machine( SVM)  
为特征在  
，
件进 行 分 类 最 终 实 现 事 件 识 别  
分类器上对事  
［18］  
，
者都是二元变量 其状态取  
{ 0，1} ．  
整个网络是一个二  
． 2006  
David  
年
［19］  
，
部图 只有可见单元和隐藏单元之间才会存在边  
．
Ahn  
抽取中事件类别和元素的识别 在  
要的一个步骤就是判断句子中的每个词是否是最能描  
Megam  
Timbl  
结合  
和
两种方法分别实现了事件  
．
Ahn  
，
的方法中 最重  
， ， ，  
述某个事件发生的触发词 如果是 则将其归为正例 并  
，
用一个多类型分类器对其进行分类 获得其所属事件  
， ，  
类别 从而得出其所含的事件元素类型 用于构建识别  
．
每一类事件元素的分类器  
虽然现有的事件识别方法能够取得一定的效果  
，
．
但是都存在着一些限制 基于规则的方法通常需要人  
，
工来制定相应的规则 而规则的合理性又依赖于对事  
1
v
h
，w  
分别表示可见单元和隐藏单元  
图
中的  
和
． 、  
件特征的分析 因此存在着特征提取困难 规则制定的  
，a  
b
表示可视层和隐含层之间的权值  
和
分别表示可视  
、 ．  
过程复杂 可移植性差等问题 基于浅层的机器学习方  
．
层和隐含层的偏置量 利用联合概率分布公式可以由  
，
法包括很多种 例如  
SVM，  
最大熵模型以及神经网络  
［20］  
:
已知的可视层节点值得到隐含层的节点值  
．
等 这些方法同样存在着一定的缺陷  
，SVM  
在处理多分  
nv  
－1  
，
类问题时存在困难 最大熵模型的优化过程较为复杂  
，
P( h = 1 | v) = 1 + exp  
(
(
))  
－ b －  
j
w v  
j，i i  
j
∑
i = 1  
，
简单的神经网络容易收敛到局部最小值等 从而极大  
( 1)  
．
的影响识别效果 近年来机器学习领域出现的深度学  
RBM  
，
是对称网络 同理利用联合概率分布公式可  
［20］  
( Deep Learning)  
，
通过学习一种深层非线性  
习
方法  
:
以由已知的隐含层的节点值得到可视层的节点值  
， ，  
网络结构 实现复杂函数逼近 表征输入数据分布式表  
nh  
－1  
， ．  
示 获得高维数据的特征函数 通过构建具有很多隐层  
P( v = 1 | h) = 1 + exp  
(
(
))  
－ a －  
i
w h  
j，i  
i
∑
j
j = 1  
，
的机器学习模型和海量的训练数据 学习更加抽象的  
( 2)  
目标就是  
p( v，h) ( w，a，  
值最大的参数 θ  
， ．  
特征 从而最终提升分类或预测的准确性 目前已有一  
Restricted Boltzmann Machine( RBM)  
训练  
些学者 对 该 方 法 应 用 于 文 本 挖 掘 领 域 做 了 一 些 尝  
［21，22］  
为了求出使得联合概率  
， ． ，  
并取得了不错的效果 但在事件识别领域 还  
试
b) ，  
传统的马尔可夫链蒙特卡罗算法训练时收敛速度  
．
未见到用该方法抽取深层语义信息的相关报道  
［20］  
，
． Hinton  
Cont-  
很难保证 并且难以确定步长  
提出利用  
准则 在保持精度的同时能够快  
Kullback-Leibler  
，
基于上述原因 本文提出基于深度学习事件识别  
rastive Divergence( CD)  
，
( Event Recognition Model based on Deep Learning，  
模型  
DL-ERM) ．  
．
速提高计算速度 利用  
距离衡量两个  
Deep Learning  
研究  
制 探索面向事件识别的语义特征泛化表示 利用  
Learning  
深层学习结构的处理机  
” ”，  
概率分布的 差异性 表示为  
KL( P P') ， ( 3)  
‖ 如式  
，
，
Deep  
:
所示  
，
深层学习机制自动挖掘深层语义信息 研究深  
CD = KL( p p ) － KL( p p )  
‖
n
( 3)  
‖
n
0
∞
∞
．
层语义信息在事件识别中的作用 本文通过特征分析  
2. 2  
混合监督的深度信念网络  
， 6  
的方法 对文本中的词从 个方面进行特征表示并且生  
Deep Belief Network ( DBN)  
标准 的  
和一层  
是 由 若 干 层  
，
成特征向量 最后由深度信念网络来分析特征向量并  
RBM  
BP( Back-Propagation)  
，RBM  
组成  
网络来反向微调 这样的结  
RBM  
层的训练  
． ，  
给出识别结果 经过实验分析 我们发现该模型的识别  
，
是无监督的 最后通过  
BP  
．
．
效果比现有的事件识别方法有一定的提升 而且本文  
，
构使得网络的训练速度提高 但是由于  
层之间缺  
，
提出的模型不仅可以直接用于事件识别 还可以用来  
， ，  
乏有监督训练 使得网络误差逐层向上传递 最终影响  
，
处理其他事件要素的识别 最终实现基于深度学习的  
．
识别效果 因此本文提出一种改进型的混合监督  
DBN  
．
事件以及相关要素的自动标注  
， 2 ．  
网络 其结构如图 所示 该网络为每一个隐含层都增  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

资料专题

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号