- 1
- 2
- 3
- 4
- 5
仅编码器结构的Transformer架构解析
资料介绍
核心定义：什么是仅编码器结构
仅编码器结构（Encoder-only Structure）是Transformer架构的一个核心分支，它只保留Transformer原始架构中的编码器模块，完全移除了解码器模块，依靠编码器自身的双向注意力机制完成自然语言理解类任务。2017年Transformer原始论文发布后，Google在2018年推出的BERT模型首次将仅编码器结构推广到主流NLP任务中，也奠定了当前绝大多数预训练语言模型的基础架构。
为什么会出现仅编码器结构
Transformer原始架构是为seq2seq（序列到序列）任务设计的，同时包含编码器和解码器：编码器负责处理输入序列，提取上下文语义特征；解码器负责基于编码器的输出生成目标序列，比如机器翻译中输入源语言、输出目标语言。但在大量自然语言处理任务中，并不需要生成序列输出，只需要对输入序列进行语义理解，输出分类结果、向量表示或者标签即可：
· 文本分类任务：判断输入文本的情感极性、主题类别
· 命名实体识别：给输入文本的每个token标注实体类型
· 句子对关系判断：判断两个句子是否蕴含、是否语义相同
· 语义向量生成：为输入文本生成通用的语义表示，用于检索、聚类等下游任务
这类任务不需要自回归生成，只需要充分利用双向上下文信息提取语义特征，因此完全不需要解码器模块，由此催生了仅编码器结构。
仅编码器结构的核心机制
双向自注意力机制
仅编码器结构最核心的特点就是使用双向自注意力（也叫全掩码自注意力），即输入序列中的每个token都可以attend到序列中所有位置的token，包括当前位置之前和之后的token，能够同时利用上下文信息，得到更准确的语义表示。
部分文件列表
| 文件名 | 大小 |
| 仅编码器结构的Transformer架构解析.docx | 16K |
最新上传
- 打赏
- 30日榜单
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：江岚
-
21ic下载 打赏310.00元 3天前
用户：mulanhk
-
21ic下载 打赏320.00元 3天前
用户：jh03551
-
21ic下载 打赏220.00元 3天前
用户：jh0355
-
21ic下载 打赏210.00元 3天前
用户：潇潇江南
-
21ic下载 打赏210.00元 3天前
用户：小猫做电路
-
21ic下载 打赏60.00元 3天前
用户：gsy幸运
-
21ic下载 打赏60.00元 3天前
用户：zhengdai
-
21ic下载 打赏60.00元 3天前
用户：lanmukk
-
21ic下载 打赏60.00元 3天前
用户：烟雨
-
21ic下载 打赏20.00元 3天前
用户：w993263495
-
21ic下载 打赏30.00元 3天前
用户：sun2152
-
21ic下载 打赏20.00元 3天前
用户：w178191520
-
21ic下载 打赏20.00元 3天前
用户：liqiang9090
-
21ic下载 打赏20.00元 3天前
用户：xuzhen1
-
21ic下载 打赏35.00元 3天前
用户：有理想666
-
21ic下载 打赏15.00元 3天前
用户：w1966891335
-
21ic下载 打赏15.00元 3天前
用户：x15580286248
-
21ic下载 打赏25.00元 3天前
用户：qiufeng0299
-
21ic下载 打赏15.00元 3天前
用户：kk1957135547
-
21ic下载 打赏10.00元 3天前
用户：qingsong08
-
21ic下载 打赏10.00元 3天前
用户：电工老刘
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
ZENGYIBIN 打赏1.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：STM32的数字万用表
-
21ic小能手 打赏5.00元 3天前
-
kuangwy 打赏1.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：触控无极台灯控制方案
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：51单片机的汽车雨刷器
全部评论(0)