推荐星级：

基于深度信念网络的事件识别

更新时间：2019-12-24 12:26:45 大小：1M 上传用户：zhiyao6 查看TA发布的资源 标签：深度信念网络 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

事件识别是信息抽取的重要基础.为了克服现有事件识别方法的缺陷,本文提出一种基于深度学习的事件识别模型.首先,我们通过分词系统获得候选词并将它们分为五种类型.然后选择六种识别特征并制定相应的特征表示规则用来将词转化为向量样例.最后我们通过深度信念网络抽取词的深层语义信息,并由Back-Propagation(BP)神经网络识别事件.实验显示模型最高F值达85.17%.同时,本文还提出了一种融合无监督和有监督两种学习方式的混合监督深度信念网络,该网络能够提高识别效果(F值达89.2%)并控制训练时间(增加27.50%).

部分文件列表

文件名	大小
基于深度信念网络的事件识别.pdf	1M

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

Vol． 45 No． 6

Jun． 2017

第

期

电

子

学

报

2017

ACTA ELECTRONICA SINICA

年

月

基于深度信念网络的事件识别

，，

张亚军刘宗田周文

(

，

上海大学计算机工程与科学学院上海

200444)

．，

事件识别是信息抽取的重要基础为了克服现有事件识别方法的缺陷本文提出一种基于深度学习的

摘

要

．，．

事件识别模型首先我们通过分词系统获得候选词并将它们分为五种类型然后选择六种识别特征并制定相应的特

．，

征表示规则用来将词转化为向量样例最后我们通过深度信念网络抽取词的深层语义信息并由

Back-Propagation

( BP) ． F 85. 17% ．

神经网络识别事件实验显示模型最高值达

，

同时本文还提出了一种融合无监督和有监督两种学习

，

方式的混合监督深度信念网络该网络能够提高识别效果

( F

89. 2% ) ( 27. 50% ) ．

并控制训练时间增加

值达

;

关键词

中图分类号

URL: http: / /www． ejournal． org． cn

事件识别深度学习识别特征特征表示混合监督

TP391

: 0372-2112 ( 2017) 06-1415-09

DOI: 10． 3969 /j． issn． 0372-2112． 2017． 06． 020

文献标识码

文章编号

电子学报

Event Recognition Based on Deep Belief Network

ZHANG Ya-jun，LIU Zong-tian，ZHOU Wen

( School of Computer Engineering and Science，Shanghai University，Shanghai 200444，China)

Abstract: Event recognition is critical to information extraction． To overcome limitations of the exiting event recogni-

tion approaches，we proposed an event recognition model based on deep learning ( DL-ERM) ． Firstly，we acquired candidate

words through a word segmentation system and classified them into five categories． Then，we selected six recognition feature

layers and constructed corresponding feature representation rules to convert words into vector samples． Finally，we employed

a deep belief network ( DBN) to extract deep semantic features of words，and used a back propagation neural network to i-

dentify events． The results of experiments show that the maximum F-measure is 85. 17% ． Furthermore，we presented a hy-

brid-supervised DBN，which combines the unsupervised and supervised learning． The novel DBN improves the recognition

performance ( 89. 2% F-measure) and effectively controls the training time ( increased by 27. 50% ) ．

Key words: event recognition; deep learning; recognition feature; feature representation; hybrid supervision

［6，7］

［8，9］

［10 ～ 13］

、

别技术在自动文摘

自动问答

和信息检索

研究背景

．

等领域有着广泛的应用现有的事件识别方法主要有

自然语言组织的文本通过事件来表达更高层次的

．

基于规则以及浅层的机器学习两种基于规则的方法

．

语义信息识别文本中的事件就可以理解文本表达的

，

主要是通过手工自定义事件模板采用各种模式匹配

［14］

，，

确切含义有利于对文本进行结构化的分析为实现基

．

算法将文本与自定义的事件模板进行匹配姜吉发

［1 ～ 5］

．

于事件的自然语言处理打下坚实的基础

在自然语

，

提出了一种具有可移植性的事件模式的获取方法可

，．

言组织的文本中我们通过触发词来标识事件触发词

．

以从一个原始语料中自动学出相应的事件模式陈群

［15］

，

是事件发生的重要标志其在句子中包含的信息量通

秀等提出了一种基于框架的信息抽取模式并建立了

． : ．

常最大例如汶川发生地震地震就是这个句子中的触

， -

统一的灾难性事件框架利用框架的继承归纳特性简

［16］

，，．

发词该事件属于地震事件它的地点要素是汶川在任

，．

化系统实现过程概括事件信息冯礼基于事件框架

，，．

何事件中触发词是必不可少的其他要素可以缺省所

，

的突发事件信息抽取使用预定义的事件框架进行新

．

以事件识别的本质就是触发词的识别

，

闻要素的信息抽取同时探测事件框架中未事先设定

，

作为自然语言处理领域的热门研究方向事件识

，．

的新侧面信息对事件框架进行补充基于浅层的机器

: 2015-10-22;

2016-06-23;

责任编辑梅志强

收稿日期

修回日期

基金项目国家自然科学基金项目

( No． 61273328，No． 61305053，No． 71203135)

1416

2017

年

电

子

学

报

、

学习方法把重点放在分类器的构建和特征的发现选

深度信念网络

、，

择组合上把事件识别看成分类问题

． 2002 Chieu

年

和

［17］

2. 1

受限玻尔兹曼机

，

首次将最大熵分类器引入到事件抽取中并用该

( Restricted Boltzmann Machine，

受限玻尔兹曼机

．

分类器完成了对事件及其要素的识别付剑锋等用依

［20］

RBM)

Hinton

等

是由

提出的一种生成式随机神经网

，

存分析发掘触发词与其它词之间的句法关系并以此

， 1 ，，

络如图所示该网络由可见单元和隐藏单元构成两

Support Vector Machine( SVM)

为特征在

，

件进行分类最终实现事件识别

分类器上对事

［18］

，

者都是二元变量其状态取

{ 0，1} ．

整个网络是一个二

． 2006

David

年

［19］

，

部图只有可见单元和隐藏单元之间才会存在边

．

Ahn

抽取中事件类别和元素的识别在

要的一个步骤就是判断句子中的每个词是否是最能描

Megam

Timbl

结合

和

两种方法分别实现了事件

．

Ahn

，

的方法中最重

，，，

述某个事件发生的触发词如果是则将其归为正例并

，

用一个多类型分类器对其进行分类获得其所属事件

，，

类别从而得出其所含的事件元素类型用于构建识别

．

每一类事件元素的分类器

虽然现有的事件识别方法能够取得一定的效果

，

．

但是都存在着一些限制基于规则的方法通常需要人

，

工来制定相应的规则而规则的合理性又依赖于对事

，w

分别表示可见单元和隐藏单元

图

中的

和

．、

件特征的分析因此存在着特征提取困难规则制定的

，a

表示可视层和隐含层之间的权值

和

分别表示可视

、．

过程复杂可移植性差等问题基于浅层的机器学习方

．

层和隐含层的偏置量利用联合概率分布公式可以由

，

法包括很多种例如

SVM，

最大熵模型以及神经网络

［20］

已知的可视层节点值得到隐含层的节点值

．

等这些方法同样存在着一定的缺陷

，SVM

在处理多分

－1

，

类问题时存在困难最大熵模型的优化过程较为复杂

，

P( h = 1 | v) = 1 + exp

(

))

－ b －

w v

j，i i

∑

i = 1

，

简单的神经网络容易收敛到局部最小值等从而极大

( 1)

．

的影响识别效果近年来机器学习领域出现的深度学

RBM

，

是对称网络同理利用联合概率分布公式可

［20］

( Deep Learning)

，

通过学习一种深层非线性

习

方法

以由已知的隐含层的节点值得到可视层的节点值

，，

网络结构实现复杂函数逼近表征输入数据分布式表

－1

，．

示获得高维数据的特征函数通过构建具有很多隐层

P( v = 1 | h) = 1 + exp

(

))

－ a －

w h

j，i

∑

j = 1

，

的机器学习模型和海量的训练数据学习更加抽象的

( 2)

目标就是

p( v，h) ( w，a，

值最大的参数 θ

，．

特征从而最终提升分类或预测的准确性目前已有一

Restricted Boltzmann Machine( RBM)

训练

些学者对该方法应用于文本挖掘领域做了一些尝

［21，22］

为了求出使得联合概率

，．，

并取得了不错的效果但在事件识别领域还

试

b) ，

传统的马尔可夫链蒙特卡罗算法训练时收敛速度

．

未见到用该方法抽取深层语义信息的相关报道

［20］

，

． Hinton

Cont-

很难保证并且难以确定步长

提出利用

准则在保持精度的同时能够快

Kullback-Leibler

，

基于上述原因本文提出基于深度学习事件识别

rastive Divergence( CD)

，

( Event Recognition Model based on Deep Learning，

模型

DL-ERM) ．

．

速提高计算速度利用

距离衡量两个

Deep Learning

研究

制探索面向事件识别的语义特征泛化表示利用

Learning

深层学习结构的处理机

” ”，

概率分布的差异性表示为

KL( P P') ， ( 3)

‖ 如式

，

Deep

所示

，

深层学习机制自动挖掘深层语义信息研究深

CD = KL( p p ) － KL( p p )

‖

( 3)

‖

∞

．

层语义信息在事件识别中的作用本文通过特征分析

2. 2

混合监督的深度信念网络

， 6

的方法对文本中的词从个方面进行特征表示并且生

Deep Belief Network ( DBN)

标准的

和一层

是由若干层

，

成特征向量最后由深度信念网络来分析特征向量并

RBM

BP( Back-Propagation)

，RBM

组成

网络来反向微调这样的结

RBM

层的训练

．，

给出识别结果经过实验分析我们发现该模型的识别

，

是无监督的最后通过

．

效果比现有的事件识别方法有一定的提升而且本文

，

构使得网络的训练速度提高但是由于

层之间缺

，

提出的模型不仅可以直接用于事件识别还可以用来

，，

乏有监督训练使得网络误差逐层向上传递最终影响

，

处理其他事件要素的识别最终实现基于深度学习的

．

识别效果因此本文提出一种改进型的混合监督

DBN

．

事件以及相关要素的自动标注

， 2 ．

网络其结构如图所示该网络为每一个隐含层都增

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

基于深度信念网络的事件识别

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页