推荐星级:
  • 1
  • 2
  • 3
  • 4
  • 5

单词和字符表示的协同学习

更新时间:2019-12-27 15:00:51 大小:2M 上传用户:IC老兵查看TA发布的资源 标签:协同学习 下载积分:1分 评价赚积分 (如何评价?) 收藏 评论(0) 举报

资料介绍

当前的词嵌入模型多数基于分布假设理论,这类模型将单词作为最基本语义单元,然后利用词的外部上下文信息学习词表示.然而,在类似于汉语的语言中,单词经常由多个字符组成,这些字符包含了丰富的内部信息,同时单词的语义也和这些字符的语义息息相关.考虑到当前常用词模型均忽略了字符信息,文中以中文为例,提出了单词与字符表示的协同学习模型.为了解决汉语中存在的单字符多语义和多字符单语义情况,文中提出了基于多原型的单词协同学习模型,并使用词相似任务和类比推理任务对该模型进行评估.结果显示,文中模型的词表示质量均优于其他词嵌入模型.


部分文件列表

文件名 大小
单词和字符表示的协同学习.pdf 2M

部分页面预览

(完整内容请下载后查看)
(
)
华 南 理 工 大 学 学 报 自 然 科 学 版  
Journal of South China University of Technology  
( Natural Science Edition)  
46  
8
Vol. 46 No. 8  
August 2018  
卷 第  
2018  
8
: 1000-565X( 2018) 08-0122-08  
文章编号  
和字符表示协同学习  
12  
12  
慧婷  
超  
( 1.  
大学 与信号理教肥  
230039;  
2.  
大学 科学与技术学院 肥  
230601)  
: ,  
当前的词嵌入模型多基于设理模型单  
, ,  
利用部上文信表示 然由  
, ,  
丰富同时息  
, ,  
到当前模型文中中文为提出了符  
,  
表示的同学模型 为了决汉在的单字和多单语情况 文中提  
出了基于多型的同学模型 使相似推理模型进行  
,  
评估 结果显示 文中模型的表示质量于其词嵌入模型  
: ; ; ;  
关键词 表示 部上同学习  
: TP391  
doi: 10. 3969 /j. issn. 1000-565X. 2018. 08. 017  
中图分类号  
.  
布式模型大的关注 分  
、  
构复杂实值是低可  
布式模型表示成实值向  
,  
使出现布假设的方  
.  
量 然后关性 词  
分具有不同相同上也  
“ ” “ ”  
大的两个依  
表示广应用各种不同的自然语言  
1]  
2]  
命名别  
语言  
统  
部上信息有效分  
3-4]  
5]  
6-7]  
8]  
较好的方法 是在时把词  
模型  
组成  
析  
及知取  
9]  
等 分布式模型于分布假设论  
( ) ,  
信息考虑语言一  
, ,  
论指出 具有相似上有一定的  
个单由多个字组成 的  
“ ” ,  
信息 以中文能 为可以通  
相似性  
布 式 模 型 具 代 是  
“ ” “ ”  
同时可以通过推  
10-11]  
CBOW  
Skip-Gram( SG)  
12-14, ,  
文献 证明 中文表示时 利用  
模型  
两个模型不  
从大规模提高量  
. CBOW  
12]  
. Chen  
部字信息可以提高表示的质量  
通过部字表示加入到单表示中 提出了基  
的质量  
模型训练词  
SG  
( CWE) .  
预测词  
模型则使用目预测上文  
模型  
模型内  
, ,  
然而 布式模型那  
部字信息的方式简单 索更有效内  
13]  
具有足部上质  
. Li  
部字信息的模型  
通过单字符  
量的实值是所有有足  
本表示单元 提出组成中  
、  
量的模型常用的及  
模型 中文能由到多个字  
: 2017-10-23  
收稿日期  
:
基金项目 国家自然科学基金资助项目  
( 61202227) ;  
( KJ2018A00B)  
高等自然科学研究项目  
Foundation item: Supported by the National Natural Science Foundation of China( 61202227)  
:
作者简介 婷  
( 1978-) , , , . E-mail: htliu@ ahu. edu. cn  
教授 主要从事自然语言理研究  
8
:
表示习  
123  
1
.  
组成 所以该模型制了量的学受  
( “  
“  
到来  
) ,  
用了部字信息  
( m ,  
i
能  
14]  
2
CWE  
Xu  
SCWE  
提出模型通过考虑每  
发  
m ) ( ) .  
代  
i
考虑信息 则  
BCW  
个字表示表示献度 从而词  
CBOW  
模型 图  
1( a) .  
为  
为  
量的质量 模型的质量大程于  
相同字往往具有相似表示 故  
15]  
. Liu  
的质量  
提出模  
BCW  
模型可以量的学习  
TWE,  
模型通过信息入  
, ,  
表示的学用主信息的方式不同 到  
表示的质量不同  
12, :  
文献 指出 现有模型相  
于中文中文不同不同  
;  
表示字能不充分 ②  
中文中多字非组情况  
(
) .  
译词 模型考虑这部字语  
1
CBOW  
BCW  
模型图  
入表示质量会下降  
Fig. 1 Schematic diagram of CBOW and BCW models  
为此 文中借鉴应用信息的多种式  
c = { w w w } BCW  
1 2 N  
料  
模型  
种更有效部字信息的模型 联合  
:
的目数  
部上信息部字信息 文中提出了  
N
BCW  
SGC,  
两个模型以  
两个模型  
L( c) =  
log p( w w w w ,  
i i-l i-1 i+1  
10]  
i = 1  
CBOW  
SG  
单字义  
1
2
s( w )  
i
w
) +log p( w m m m  
i i i  
) ( 1)  
i+l  
i
, ,  
问题 文中提出入表示 符  
p( w w w w w ) =  
i i-l i-1 i+1 i+l  
, (  
不同对应不同采用两种方法 基  
c
exp( w·P )  
i i  
)
位置的方法的方法 不同语  
( 2)  
c
exp( w·P )  
j i  
; ,  
而对非组个特殊  
w
W
j
m
, ,  
训练过程到特考  
exp( w·P )  
i i  
1
2
s( w )  
i
p( w m m m  
i i i  
) =  
( 3)  
i
;
信息 多种文中模型行  
m
exp( w·P )  
j i  
w
W
j
估  
c
m
P  
P w  
部上文和部字符  
i i  
中  
i
s( w )  
i
1
i+l  
模型  
1
1
c
m
j
P =  
投影量  
i
w P =  
j i  
m .  
i  
2l  
2s( w )  
j = 1  
i
j = i-l  
1. 1  
符号义  
j
i
1
p( w w w w w ) p( w m ,  
i+l  
c = { w w w } N ,  
指代 序列词  
1 2 N  
于  
i
i-l  
i1  
i+1  
i
i
2
s( w )  
i
Wi  
个单词  
w
W
部上文  
m m  
i
)
算复杂度高 文中采用采样  
i
i
11]  
c = ( w w w w ) ,  
i i l i 1 i +1 i + l  
l;  
M
小为  
技术 降低复杂度 训练为  
1
2
s( w )  
i
( m m m ) s( w )  
部字表示为  
N
w
为单  
i
i
i
i
i
i
c
c
L( c) = log ( w·P ) + kE  
σ
i
log ( w·P ) +  
σ 珟  
i
i
w ~ p  
w
w
w W  
每个单部字符  
m
i = 1  
m
m
d
d
log ( w·P ) + kE  
σ
i
log ( w·P ]  
i
( 4)  
σ
d w R m R .  
对应个 维∈ ∈  
i
w ~ p  
w
:
σ  
( x) =1 /1 + exp( - x) ; k  
采样的个  
1. 2 BCW  
模型  
075  
; w  
采样本  
; p ( w)  
w
#( w)  
采  
现有信息模型通过  
部上包含部字信息强外部  
BCW  
布 表示布  
p( w)  
采样 到  
w; #( w)  
珘  
w
为单出现在次数  
表示 而  
部字来预测词  
1( b)  
模型通过部上文和  
. BCW  
1. 3 SGC  
模型  
图  
小  
BCW  
能时到来 为例  
SGC  
2( b)  
“  
能时代  
模型图  
l = 1,  
词  
w ( ) ,  
预测  
1
,  
到来 为例 窗小  
l = 1,  
词  
w( )  
代  
i
( w w  
i - 1  
)
模型用了部上信息  
( w w ) ( “  
i - 1 i + 1  
词  
i + 1  

全部评论(0)

暂无评论