- 1
- 2
- 3
- 4
- 5
NAS-BERT核心内容解析
资料介绍
模型提出背景
在BERT提出之后，预训练语言模型在自然语言处理领域取得了突破性进展，但手工设计BERT类模型的网络结构需要大量的专家经验与实验调优，不同下游任务对应的最优网络结构往往存在差异。神经架构搜索（Neural Architecture Search, NAS）技术可以自动化完成网络结构设计，减少人工成本，因此Google的研究团队在2019年提出NAS-BERT，尝试用NAS技术自动化搜索适配不同任务需求的BERT类预训练语言模型结构，解决手工设计模型结构灵活性不足、适配性差的问题。
核心设计思路
NAS-BERT的核心设计围绕两个关键问题展开：一是如何在不牺牲预训练效果的前提下降低NAS搜索的巨大计算成本，二是如何保证搜索得到的模型既适配预训练任务，又能良好迁移到下游任务。
搜索空间设计
NAS-BERT没有针对整个网络做全范围搜索，而是基于BERT的基础结构做模块化搜索，缩小搜索范围降低计算量。搜索空间的核心设定：
1. 整体保留BERT的输入Embedding层+N个Transformer编码层+输出层的整体框架，固定Embedding层和输出层，只对中间的Transformer编码块做结构搜索；
2. 每个Transformer编码块的搜索维度包含两个核心部分：注意力头数量（候选值为1, 2, 4, 6, 8, 12）和前馈网络隐藏层维度（候选值为64, 128, 256, 512, 768, 1024），同时支持不同编码块设置不同的结构参数，打破了原BERT所有编码块结构完全相同的限制；
3. 为了控制整体模型的计算量和参数量，设定了整体约束条件：搜索得到的模型总参数量不超过原BERT-base的参数量（约110M），保证搜索模型和基准模型可以做公平对比。
部分文件列表
| 文件名 | 大小 |
| NAS-BERT核心内容解析.docx | 14K |
最新上传
- 打赏
- 30日榜单
-
x1707 打赏1.00元 3天前
-
lanmukk 打赏60.00元 3天前
-
lanmukk 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：江岚
-
21ic下载 打赏310.00元 3天前
用户：mulanhk
-
21ic下载 打赏310.00元 3天前
用户：潇潇江南
-
21ic下载 打赏210.00元 3天前
用户：小猫做电路
-
21ic下载 打赏210.00元 3天前
用户：gsy幸运
-
21ic下载 打赏210.00元 3天前
用户：zhengdai
-
21ic下载 打赏140.00元 3天前
用户：jh0355
-
21ic下载 打赏130.00元 3天前
用户：jh03551
-
21ic下载 打赏60.00元 3天前
用户：lanmukk
-
21ic下载 打赏60.00元 3天前
用户：kkkopj
-
21ic下载 打赏70.00元 3天前
用户：cooldog123pp
-
21ic下载 打赏20.00元 3天前
用户：烟雨
-
21ic下载 打赏20.00元 3天前
用户：xuzhen1
-
21ic下载 打赏20.00元 3天前
用户：sun2152
-
21ic下载 打赏20.00元 3天前
用户：w178191520
-
21ic下载 打赏15.00元 3天前
用户：w1966891335
-
21ic下载 打赏15.00元 3天前
用户：w993263495
-
21ic下载 打赏15.00元 3天前
用户：x15580286248
-
21ic下载 打赏15.00元 3天前
用户：liqiang9090
-
21ic下载 打赏15.00元 3天前
用户：kk1957135547
-
21ic下载 打赏5.00元 3天前
用户：创园船热情
-
21ic下载 打赏5.00元 3天前
用户：ytf4210
-
21ic下载 打赏10.00元 3天前
用户：有理想666
-
13806677280 打赏1.00元 3天前
-
21下载积分 打赏20.00元 3天前
用户：white工
-
Lzhf918@ 打赏10.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：mulanhk
-
21ic下载 打赏310.00元 3天前
用户：lanmukk
-
21ic下载 打赏310.00元 3天前
用户：zhengdai
-
21ic下载 打赏240.00元 3天前
用户：江岚
-
21ic下载 打赏240.00元 3天前
用户：潇潇江南
-
21ic下载 打赏210.00元 3天前
用户：gsy幸运
-
21ic下载 打赏70.00元 3天前
用户：小猫做电路
-
21ic下载 打赏120.00元 3天前
用户：jh0355
-
21ic下载 打赏110.00元 3天前
用户：jh03551
-
21ic下载 打赏70.00元 3天前
用户：liqiang9090
全部评论(0)