- 1
- 2
- 3
- 4
- 5
DeepSeek的Tokenization与分词器设计.docx
资料介绍
DeepSeek的Tokenization与分词器设计
一、引言
分词器（Tokenizer）是大语言模型的第一道关卡，决定了模型如何理解和表示输入文本。DeepSeek在分词器设计上进行了专门的优化，采用字节级BPE（Byte-level BPE）方案，针对代码和中文进行了深度定制，形成了高效的分词体系。本文深入解析DeepSeek的Tokenization技术与分词器设计。
二、分词器设计原则
2.1 字节级BPE
DeepSeek采用字节级BPE（Byte Pair Encoding）作为分词方案，词表大小为100K。字节级BPE将文本编码为UTF-8字节序列，然后通过BPE算法合并出现频率最高的字节对，形成最终的token词汇表。
字节级BPE的优势在于：
· 可以处理任意字符，包括罕见的Unicode字符
· 对多语言支持良好，不需要为每种语言单独设计tokenizer
· 与常见的编码方案兼容，减少了编码转换的问题
2.2 词表大小选择
100K词表在覆盖率和效率之间取得了平衡。词表太小会导致文本被分割成大量细碎token，降低处理效率；词表太大会增加嵌入层参数和输出层参数，增加模型大小。
三、代码优化
3.1 代码专用token
DeepSeek-Coder的分词器针对代码特性进行了专门优化，为代码中的常见语法结构分配专用token，包括：
· 缩进（空格、制表符的序列）
· 括号和括号（(), {}, []）
部分文件列表
| 文件名 | 大小 |
| DeepSeek的Tokenization与分词器设计.docx | 38K |
最新上传
- 打赏
- 30日榜单
-
yahuang001 打赏3.00元 3天前
-
yahuang001 打赏1.00元 3天前
-
zhongshaoxiong 打赏3.00元 3天前
-
他山之石可攻玉 打赏60.00元 3天前
用户：烟雨
-
江岚 打赏210.00元 3天前
用户：潇潇江南
-
江岚 打赏100.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：gsy幸运
-
21ic下载 打赏310.00元 3天前
用户：zhengdai
-
21ic下载 打赏310.00元 3天前
用户：江岚
-
21ic下载 打赏210.00元 3天前
用户：潇潇江南
-
21ic下载 打赏60.00元 3天前
用户：他山之石可攻玉
-
21ic下载 打赏60.00元 3天前
用户：烟雨
-
21ic下载 打赏60.00元 3天前
用户：w178191520
-
21ic下载 打赏60.00元 3天前
用户：w993263495
-
21ic下载 打赏110.00元 3天前
用户：xzxbybd
-
21ic下载 打赏60.00元 3天前
用户：zq_1943
-
21ic下载 打赏20.00元 3天前
用户：kk1957135547
-
21ic下载 打赏20.00元 3天前
用户：sun2152
-
21ic下载 打赏20.00元 3天前
用户：铁蛋锅
-
21ic下载 打赏20.00元 3天前
用户：xuzhen1
-
21ic下载 打赏20.00元 3天前
用户：w1966891335
-
21ic下载 打赏35.00元 3天前
用户：有理想666
-
21ic下载 打赏15.00元 3天前
用户：nuaanuaa111
-
21ic下载 打赏20.00元 3天前
用户：liqiang9090
-
21ic下载 打赏15.00元 3天前
用户：ningmengge
-
21ic下载 打赏10.00元 3天前
用户：mulanhk
-
21ic下载 打赏5.00元 3天前
用户：asys
-
21ic下载 打赏10.00元 3天前
用户：舞蹈荀彧
-
21ic小能手 打赏5.00元 3天前
资料：磁编码器开源方案
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
江岚 打赏20.00元 3天前
-
江岚 打赏50.00元 3天前
-
江岚 打赏20.00元 3天前
-
江岚 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏8.00元 3天前
-
21ic小能手 打赏8.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
全部评论(0)