积分商城

最新搜索： 总线标准 dos KiCad LT1525SI 路径规划 神经网络
您现在的位置是：首页 > 技术资料 > 基于词性与词序的相关因子训练的 word2vec改进模型
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于词性与词序的相关因子训练的 word2vec改进模型

更新时间：2019-12-24 14:10:28 大小：2M 上传用户：守着阳光1985查看TA发布的资源 标签：词性 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

词性是自然语言处理的基本要素,词语顺序包含了所传达的语义与语法信息,它们都是自然语言中的关键信息.在word embedding模型中如何有效地将两者结合起来,是目前研究的重点.本文提出的Structured word2vec on POS联合了词语顺序与词性两种信息,不仅使模型可以感知词语位置顺序,而且利用词性关联信息来建立上下文窗口内词语之间的固有句法关系.Structured word2vec on POS将词语按其位置顺序定向嵌入,对词向量和词性相关加权矩阵进行联合优化.实验通过词语类比、词相似性任务,证明了所提出的方法的有效性.


部分文件列表

文件名 大小
基于词性与词序的相关因子训练的_word2vec改进模型.pdf 2M

【关注B站账户领20积分】

部分页面预览

（完整内容请下载后查看）
8
Vol． 46 No． 8  
Aug． 2018  
第
期
电
子
学
报
2018  
8
ACTA ELECTRONICA SINICA  
年
月
基于词性与词序的相关因子训练的  
word2vec  
改进模型  
1
1
1
2
1
， ， ， ，  
潘 博 于重重 张青川 徐世璇 曹 帅  
( 1.  
，
北京工商大学计算机与信息工程学院 北京  
100048; 2.  
，
中国北京社会科学院民族学与人类学研究所 北京  
100081)  
:
， ，  
词性是自然语言处理的基本要素 词语顺序包含了所传达的语义与语法信息 它们都是自然语言中的  
摘
要
．
关键信息 在  
word embedding ， ． Structured word2vec  
模型中如何有效地将两者结合起来 是目前研究的重点 本文提出的  
on POS  
， ，  
联合了词语顺序与词性两种信息 不仅使模型可以感知词语位置顺序 而且利用词性关联信息来建立上下文  
． Structured word2vec on POS  
，
将词语按其位置顺序定向嵌入 对词向量和词性相关加  
窗口内词语之间的固有句法关系  
． 、 ，  
权矩阵进行联合优化 实验通过词语类比 词相似性任务 证明了所提出的方法的有效性  
．
:
word embedding; ; word2vec  
; ;  
词性 相关权重 词序  
关键词  
中图分类号  
URL: http: / /www． ejournal． org． cn  
:
TP3-0  
:
A
:
文章编号  
0372-2112 ( 2018) 08-1976-07  
文献标识码  
DOI: 10． 3969 /j． issn． 0372-2112． 2018． 08． 024  
电子学报  
The Improved Model for word2vec Based on  
Part of Speech and Word Order  
1
1
1
2
1
PAN Bo ，YU Chong-chong ，ZHANG Qing-chuan ，XU Shi-xuan ，CAO Shuai  
( 1. Department of Computer and Information Engineering，Beijing Technology and Business University，Beijing 100048，China;  
2. Academy of Social Sciences，Institute of Ethnology and Anthropology，Beijing 100081，China)  
Abstract: Part of speech( POS) is the basic element of Natural Language Processing( NLP) ，word order consists of  
its conveyed semantic and syntax information，both are the key information of language． There is still lack of such a word  
embedding model that combines the two together as the influential element． This paper presents the Structured Word2vec on  
POS that linked the two information of word order and POS together，not only enables the model to sense the words position  
and order，but alsouse the POS information to establish the inherent syntactic relation between words in the context window．  
Structured Word2vec on POS is capable to directionally embed the words into context window according to their position，  
and optimizes the word vector and POSrelevance weight matrix． Experiment through word analogy，word similarity task  
proved the effectiveness of our method．  
Key words: word embedding; part of speech; relevance weights; word order; word2vec  
．
升效果仍然有限  
1
引言  
，Bengio  
( Neural  
提 出 的 神 经 网 络 语 言 模 型  
近年  
［10］  
，
语言的语义向量空间模型用实值向量表示每个词语  
Network Language Model，NNLM)  
逐渐受到研究者们  
的关注与重视 研究者们将其应用于自然语言处理领  
: ( Recurrent Neural Net-  
域 如循环 神经 网络 语言 模型  
［1］  
，
而词向量可以作为许多应用中的特征 例如文献分类  
，
自
．
［2］  
［3］  
［4］  
，
动问答 命名实体识别 和形态相关词解析  
．
［11，12］  
［5］  
workslanguage model，RNNLM)  
． NNLM  
RNNLM  
与
，
在词语类比评估方法 中 许多早期的基于矩阵  
［7，8］  
，
模型的缺陷在于结构过于复杂 其中非线性的隐层带  
( Matrix Factorization)  
分解  
的词语表示模型  
显示出其  
［13］  
．
来大 量 的 计 算 针 对 这 个 问 题  
，Mikolov  
提 出 了  
:
不足 两个词传达的语义相关性单一地取决于它们共  
［9］  
word2vec  
: Continuous Bag-of-  
的 两 种 简 化 的 线 性 模 型  
Words Model( CBOW) Continuous Skip-gram( CSG) ．  
和
．
同出现次数 针对这种缺点  
，Lebret  
Collobert  
和
提出以  
在
Hellinger PCA( HPCA)  
，
的形式进行平方根型转化 但提  
: 2017-04-18;  
: 2017-08-23;  
:
收稿日期  
修回日期  
基金项目 教育部人文社会科学研究与规划基金  
( No． KZ201410011014)  
责任编辑 蓝红杰  
:
( No． 16YJAZH072) ;  
( No． 14ZDB156) ;  
B
北京自然基金重点项目 类  
国家社会科学基金重大项目  
1977  
8
: word2vec  
博 基于词性与词序的相关因子训练的 改进模型  
第
期
潘
［14］  
CBOW  
CSG  
，Kavukcuoglu  
的线性结构基础上  
与
等人  
等人 提出基于  
explicit word embeddings ． Jeffrey  
等
［15］  
vLBL  
ivLBL． Levy  
和
提出了相似模型  
PPMI  
度量 的  
模 型  
［16］  
2014  
在
人
年提出了一种基于全局信息的词语表示  
GloVe ，  
其建立  
word-word  
，
同窗共现计数矩阵 从而  
模型  
．
利用矩阵进行全局优化  
Word2vec GloVe  
与
: ( 1)  
对于  
的模型不足之处在于  
． ( 2)  
．
无法利用词性关联信息 针  
词语顺序信息不敏感  
对这两个问题的改进模型中  
Structured word2vec  
［17］  
: Wang  
等人 提出词序定  
可以有效利用词语顺序  
; Liu  
向嵌入模型  
，
信息 大幅提高模型在语法相关任务中表现效果  
［18］  
( POS Relevance  
通 过 引 入 词 性 相 关 权 重  
等人  
Weights) ，  
充分利用词语的词性关联信息进行建模  
．
［17］  
［18］  
Wang  
Liu  
，
p( u| context( word( t) ) ) = ( x  
σ
·O( u) )  
本文的主要工作是基于  
与
的方法  
word( t)  
u
Structured word2vec on POS( SWP)  
，
模型 该模型不  
提出  
仅对于词语顺序有较高敏感程度 而且利用词性关联  
信息对上下文窗口内词语之间的固有句法关系进行建  
． ．  
=
(
( v( word( t + i) ) ) · ( i) ) )  
θ
( 1)  
σ
∑
－c  
i c，i 0  
≤ ≤ ≠  
，
［17］  
2. 2 SSG  
SSG  
CSG  
，
改进 的模 型 其给定 中心 词 的  
是基于  
:
模
实验证明 在多个词语相似性任务以及词语类比任  
|
V | × d  
word( t)  
O
R
使用单个输出矩阵  
∈
来预测每个上下  
对词的顺序较为敏  
c × 2  
，
务中 本文提出模型比其他当前先进的  
word embedding  
，
文词 结构如图  
2. CSG，SSG  
相比于  
．
模型的表现效果更好  
|
V | × d  
，
感 它利用  
O
R
∈
定义一组  
个输出预测矩阵  
，
每个矩阵专用于预测针对中  
2
原模型  
O
，…，O ，O ，… O  
1
－ c  
－ 1  
－ c  
．
心字的特定相对位置的输出 例如预测  
p( word( t) | word  
CWindow、SSG  
PWE  
word  
三种结构的  
本节将对  
embedding  
与
( t + 2) )  
，
时 模型以  
O
， word( t + 2)  
为输出矩阵 并以 为  
2
．
原模型的相关工作进行回顾  
O ( word( t + 2) ) ．  
2
［17］  
索引得到输出预测向量  
2. 1 CWindow  
CWindow  
CBOW  
，
模型基于  
做出改进 它定义不同  
， 1.  
结构如图  
|
V | × 2cd  
O
R
的输出预测矩阵  
按照上下文词语出现顺序所嵌入串联的  
=［v( word( t － c) ) ，…，v( word( t － 1) ) ，v( word( t  
∈
在投影层中  
2c × d  
维向量  
x
word( t)  
+ 1) ) ，…，v( word( t + c) ) ］， ．  
并将其投影到输出层 因  
O
为矩阵 为每个相对位置定义用于词语嵌入的参数  
．
［19］  
Collobert  
，
等人 描述的基于窗口的模型  
该模型参照  
并在进行最终预测之前将词语嵌入的向量投影到窗口  
，CWindow NS  
．
u
嵌入中 综上所述  
的
算法中样本词语  
共现后 验概 率 如 公 式  
( word( t)  
context ( word ( t) )  
跟随上 下文  
( 1) ．  
，u  
其中 表示样本词语  
，
为正样本 其余为  
u
) ． ( i)  
O( u)  
d
的
负样本  
θ
表示从  
．
向量 其随着输入层中词语定向嵌入的位置 而变化  
中截取的一段维度为  
，SSG  
NS  
word( t + i)  
算法中 跟随样本  
综上所述  
的
，
i
u
u
词语 共现后验概率如下  
:
( i)  
x
v( word( t + i) )  
中对应向量  
θ
与
进行内积相  
O( u) ) 1 ～ d  
中第  
word( t)  
word( t + i)  
u
u
{ word( t) } Neg  
∪
( word( t) )  
∈
． ， ( － c) = O( u) ［1 ～ d］  
乘 例如 θ 表示  
( 2)  
u
p( word( t + i) | u) = ( v( word( t + i) ) ·O ( u) )  
σ
i
， ( － c)  
维的向量 θ  
word( t － c)  
，
的预测向量 因此  
对应是  
［18］  
u
2. 3 PWE  
v( word( t － c) )  
( － c)  
．
进行内积相乘  
将
与 θ  
PWE  
CBOW  
，
模型进行改进 通过词性相  
c + i + 1，i ［－ c，－ 1］  
∈
模型基于  
index［i］=  
{
Context( word( t) )  
．
S
c + i，i ［1，c］  
∈
关性加权矩阵来为 进行建模 对于  
= { word( 1) ，…，word( N) } ， word  
的词序列 每个词语  
u
{ word( t) } Neg( word( t) )  
∪
∈
u
( i)  
z ，  
被标记为特定的词性标记 相应的词 词性对被  
i
－
( i) = O( u) ［( index［i］－ 1) × d + 1 ～ index［i］× d］  
θ

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

资料专题

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号