- 1
- 2
- 3
- 4
- 5
DeepSeek上下文扩展技术从YaRN到百万token.docx
资料介绍
DeepSeek的上下文扩展技术：从YaRN到百万token
一、引言
DeepSeek系列模型的上下文窗口经历了从4K到128K（V2/V3）再到1M（V4）的跨越式发展。短上下文训练、长上下文推理的关键在于高效的上下文扩展技术。DeepSeek在V2/V3中使用YaRN实现128K上下文，在V4中通过全新的CSA/HCA混合注意力机制达到百万token级别。本文深入解析DeepSeek的上下文扩展技术体系。
二、短上下文训练的动机
2.1 计算效率
训练超长序列的计算复杂度呈二次方增长。DeepSeek选择在4K序列长度上进行预训练，将有限的计算资源用于处理更多的token总量，而非更长的序列。预训练完成后，再通过上下文扩展技术将窗口延长至128K或1M。
2.2 扩展策略
DeepSeek的上下文扩展采用"先短后长"的策略：先用短序列高效训练模型的基础能力，再通过少量额外训练（约1000步）在长序列上微调，将上下文窗口扩展到目标长度。这种策略在计算效率和上下文能力之间取得了最佳平衡。
三、YaRN技术原理
3.1 RoPE基础
旋转位置编码（RoPE）通过旋转矩阵编码位置信息，具有良好的相对位置编码特性和长度外推能力。但RoPE的外推能力有限，超过训练长度后性能会快速下降。
部分文件列表
| 文件名 | 大小 |
| DeepSeek上下文扩展技术从YaRN到百万token.docx | 38K |
最新上传
- 打赏
- 30日榜单
-
21ic小能手 打赏5.00元 2天前
资料：磁编码器开源方案
-
21ic小能手 打赏5.00元 2天前
-
21ic小能手 打赏5.00元 2天前
-
江岚 打赏20.00元 3天前
-
江岚 打赏50.00元 3天前
-
江岚 打赏20.00元 3天前
-
江岚 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏8.00元 3天前
-
21ic小能手 打赏8.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
tangyu1 打赏1.00元 3天前
-
jjjjkkkkk 打赏1.00元 3天前
-
emlimei 打赏1.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
资料：低频功率放大器的设计.
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：51单片机数字频率计
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
13573902396 打赏1.00元 3天前
-
21下载积分 打赏310.00元 3天前
用户：江岚
-
21下载积分 打赏310.00元 3天前
用户：潇潇江南
-
21下载积分 打赏60.00元 3天前
用户：他山之石可攻玉
-
21下载积分 打赏310.00元 3天前
用户：小猫做电路
-
21下载积分 打赏210.00元 3天前
用户：zhengdai
-
21下载积分 打赏210.00元 3天前
用户：w993263495
-
21下载积分 打赏10.00元 3天前
用户：烟雨
-
21下载积分 打赏60.00元 3天前
用户：gsy幸运
-
21下载积分 打赏70.00元 3天前
用户：铁蛋锅
-
21下载积分 打赏65.00元 3天前
用户：xzxbybd
-
21下载积分 打赏60.00元 3天前
用户：jh0355
-
21下载积分 打赏60.00元 3天前
用户：w178191520
-
21下载积分 打赏20.00元 3天前
用户：jh03551
-
21下载积分 打赏20.00元 3天前
用户：sun2152
全部评论(0)