积分商城

最新搜索： xc7a50t stm32f0 usb源码 STM32F103C8T6 aiwa I9300
您现在的位置是：首页 > 技术资料 > 基于双向长短时记忆模型的中文分词方法
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于双向长短时记忆模型的中文分词方法

更新时间：2019-12-25 18:01:58 大小：1M 上传用户：zhiyao6查看TA发布的资源 标签：中文分词 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

中文分词是中文自然语言处理中的关键基础技术之一.目前,传统分词算法依赖于特征工程,而验证特征的有效性需要大量的工作.基于神经网络的深度学习算法的兴起使得模型自动学习特征成为可能.文中基于深度学习中的双向长短时记忆(BLSTM)神经网络模型对中文分词进行了研究.首先从大规模语料中学习中文字的语义向量,再将字向量应用于BLSTM模型实现分词,并在简体中文数据集(PKU、MSRA、CTB)和繁体中文数据集(HKCity U)等数据集上进行了实验.实验表明,在不依赖特征工程的情况下,基于BLSTM的中文分词方法仍可取得很好的效果.


部分文件列表

文件名 大小
基于双向长短时记忆模型的中文分词方法.pdf 1M

部分页面预览

（完整内容请下载后查看）
(
)
华 南 理 工 大 学 学 报 自 然 科 学 版  
Journal of South China University of Technology  
( Natural Science Edition)  
45  
3
期
Vol． 45 No． 3  
March 2017  
第
卷 第  
2017  
3
月
年
: 1000-565X( 2017) 03-0061-07  
文章编号  
*
基于双向长短时记忆模型的中文分词方法  
张洪刚 李焕  
(
，
北京邮电大学 信息与通信工程学院 北京  
100876)  
: ． ，  
要 中文分词是中文自然语言处理中的关键基础技术之一 目前 传统分词算法依赖  
摘
， ．  
于特征工程 而验证特征的有效性需要大量的工作 基于神经网络的深度学习算法的兴起  
．
( BLSTM)  
使得模型自动学习特征成为可能 文中基于深度学习中的双向长短时记忆  
神经  
网络模型对中文分词进行了研究 首先从大规模语料中学习中文字的语义向量 再将字向  
BLSTM ( PKU、MSRA、CTB)  
和繁体中文数  
．
，
，
量应用于  
模型实现分词 并在简体中文数据集  
( HKCityU)  
． ， ，  
等数据集上进行了实验 实验表明 在不依赖特征工程的情况下 基于  
据集  
BLSTM  
．
的中文分词方法仍可取得很好的效果  
: ; ; ;  
关键词 深度学习 神经网络 双向长短时记忆 中文分词  
: TP391 doi: 10． 3969 /j． issn． 1000-565X． 2017． 03． 009  
中图分类号  
． 、 ，  
录词 未登录词包含地名 人名等 严重影响了中文  
中文分词是中文自然语言处理中的关键基础技  
， ( 、  
术之一 是其他中文文本任务 如命名实体识别 句  
．
分词的准确率和效率  
，
传统分词方法依赖于词典匹配 不能很好地解  
、 ) ，  
法分析 语义分析等 的前期关键处理环节 其分词  
．
．
决中文歧义和未登录词问题 为解决这两个关键问  
的准确性对中文自然语言处理尤为重要  
，
题 很多研究工作集中于基于字标注的中文分词方  
传统机器学习方法在中文分词领域取得了飞速  
， ， 、  
发展 有着丰富的分词算法 如最大正向匹配 最大  
．
法 基于字标注的中文分词方法假设一个词语内部  
、 ．  
逆向匹配 双向匹配等基于词典的方法 基于词典的  
，
．
文本高内聚 词语的边界与外部文字低耦合 通过统  
计的机器学习方法判断词边界是当前中文分词的主  
BMES  
，
分词算法针对输入的中文句子 通过与词典进行对  
， ，  
比 将输入的中文句子分成单字或多字组成的词 从  
，
．
标注  
流做法 主要使用序列标注模型进行  
［1］  
． ，  
而达到分词的目的 然而 由于中文句子是连续的文  
Xue  
刘群等 提出了基于层叠隐马模型的汉语词法分  
HMM  
，
提出了基于  
模型的字标注分词方法  
［2］  
， ，  
字 存在大量的歧义和未登录词问题 严重影响最终  
［3］  
．
，Peng  
CRF  
模型进  
的切分效果  
( 1)  
析方法  
等
提出了基于子分类的  
． ，  
中文歧义识别 歧义是指同样一个句子 有  
．
行中文分词 对于字标注中文分词方法的改进包括  
［4］  
［5］  
． 、  
多种切分方法 中文歧义一般分为交集型歧义 覆盖  
设计更多高效的特征 和引入更多的标签选择  
． ，  
型歧义和真歧义 对于一个句子 必须根据上下文语  
以及将无监督机器学习算法中使用的特征引入到有  
［6］  
，
境 才能得到正确的分词结果  
．
． ，  
监督方法中 等 然而 传统机器学习算法依赖于  
( 2)  
．
未登录词识别问题 由于中文本身所具有  
，
人工设计的特征 而一个特征的有效性需要反复尝  
， ，  
的复杂性 不存在包含所有中文词语的词典 待切分  
． ，  
试和验证 因此 中文分词任务的特征工程是一个巨  
，
语句中很有可能存在词典中没有收录的词 即未登  
．
大的挑战  
: 2016-12-08  
收稿日期  
*
:
基金项目 国家自然科学基金青年基金资助项目  
( 61601042)  
Foundation item: Supported by the National Natural Science Foundation of China for Young Scientists( 61601042)  
:
作者简介 张洪刚  
( 1974-) ， ， ， ． E-mail: zhhg@ bupt． edu． cn  
男 副教授 主要从事模式识别研究  
62  
(
华 南 理 工 大 学 学 报 自 然 科 学 版  
)
45  
第 卷  
， ，  
近些年来 随着深度学习的兴起 基于神经网  
，
络的模型被更多地运用于自然语言处理领域 如  
、 、  
词性标注 命名实体识别 情感分类等任务  
． Col-  
［7］  
lobert  
SENNA ，  
系统 利用神经网络解  
等
设计了  
决了英文序列标注问题  
系统实现了中文分词和词性标注 并提出一个感  
［8］  
; Zheng  
SENNA  
利用  
等
，
［9］  
; Chen  
知机算法加速训练过程  
( GRNN)  
等
将门控递归神  
，
运用于中文分词任务中 取得了很  
经网络  
． ，  
好的效果 研究表明 深度学习在避免了繁琐的特  
，
征工程的情况下 在自然语言处理领域取得了巨  
．
大的成功  
， ，  
但是 这些研究提出的方案和模型 并没有充分  
．
挖掘神经网络在自然语言处理任务上的潜力 在中  
，
文分词任务中 句子序列上下文依赖信息对中文分  
．
词的准确性起着重要的作用 而传统的循环神经网  
( RNN)  
，
只能利用句子序列的上文信息 无法利用  
络
． ，  
未来信息 为了解决这个问题 文中提出一个基于双  
( BLSTM)  
，
的神经网络模型 以有效利  
向长短时记忆  
．
用序列数据中的上下文依赖信息  
1
BLSTM  
的模型构建  
基于  
中文分词任务可以看成是基于单字的序列标注  
1
图
中文分词模型框架  
． ，  
任务 与其他基于字的分词方法相似 文中采用  
Fig． 1 The architecture for Chinese word segmentation  
BMES  
． ，  
标注方式来对汉字进行标注 对于多字词 词  
B，  
语中的第一个汉字标签为 中间字的标签为  
M，  
最
sigmoid  
神经 网 络 的 隐 藏 层 通 常 选 用  
函 数  
E; ， S．  
后一个汉字标签为 对于单字词 其标签为  
x
－ x  
－ x  
1
e － e  
( x) =  
tanh  
( x) =  
函数   
σ
或
作为激  
－ x  
x
1． 1  
模型框架和流程  
1 － e  
e + e  
基于神经网络的序列标注任务常用的模型框架  
．
活函数 隐藏层函数为  
( t)  
( t)  
， 1  
主要由三部分构成 第 部分利用词向量  
( Word  
h
= ( z  
σ
)
( 2)  
Embedding)  
技术将输入的中文字符转成一个向量  
输出层函数为  
( t)  
( t)  
， ，  
矩阵 中间部分是典型的神经网络结构 最后一层是  
y
= W h + b  
2
( 3)  
，b  
为输  
2
，
标签判别层 利用  
Softmax  
方法输出句子序列的标  
，W  
式中  
表示隐藏层到输出层的权值矩阵  
2
2
， 1  
签信息 具体模型框架如图 所示  
．
( t)  
，y  
出层的偏置参数矩阵  
为当前字被打上不同标签  
( 1∶ n)  
n
对于一个长度为 的句子  
c
，
文中选取一个  
．
的概率  
、 ，  
包括上下文和当前字 长度为 ω 的词窗 其中上文  
，
笔者在这个框架的基础上进行改进 在中间神  
(
和下文均为 ω  
－ 1) /2  
． 1  
个字 图中第 层输入长度  
BLSTM，  
其能够有效利用句子序列  
经网络部分引入  
， 1  
为 ω 的原始文本 经过第 层将每个字转换成其相  
．
中的上下文依赖信息  
d
对应的长度为 的向量  
v ， × d  
将 ω 个向量组成 ω  
i
1． 2  
相关原理介绍  
( t)  
x
．
作为神经网络的输入层 从输入层  
的输入矩阵  
1． 2． 1  
词向量技术是将深度学习引入自然语言处理的  
词向量  
到隐藏层的函数为  
( t)  
( t)  
，
核心技术 该技术使用一个稠密的特征向量代替原  
z
= W x + b  
1
( 1)  
，b  
1
one-hot  
． ，  
稀疏向量来表示每个词汇 研究表明  
来的  
，W  
式中  
表示输入层到隐藏层的连接权值矩阵  
1
1
这种特征向量能够很好地表示词的语义和句法  
．
为隐藏层的偏置参数矩阵  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

资料专题

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号