- 1
- 2
- 3
- 4
- 5
DeepSeek的PagedAttention与KV缓存管理.docx
资料介绍
DeepSeek的PagedAttention与KV缓存管理
一、引言
KV缓存(Key-Value Cache)是影响大模型推理效率的关键因素,尤其在长上下文场景下,KV缓存的管理直接决定了推理的吞吐量和延迟。DeepSeek在KV缓存管理方面采用了PagedAttention技术,并结合MLA的KV压缩和FP8量化,形成了一套完整的KV缓存优化体系。本文深入解析DeepSeek的KV缓存管理技术。
二、KV缓存的问题
2.1 内存占用
在标准Transformer推理中,每生成一个token,都需要缓存所有历史token的Key和Value向量。对于671B参数的MoE模型,KV缓存的内存占用可达数十GB,成为限制推理批次大小和序列长度的主要因素。
2.2 内存碎片
在并发请求场景中,不同请求的序列长度不同,KV缓存分配会导致严重的内存碎片。传统的连续内存分配方式在动态请求场景下效率极低,可能申请了96GB显存却只能使用40GB。
三、PagedAttention技术
3.1 核心思想
PagedAttention是vLLM推理框架的核心创新,灵感来自虚拟内存分页机制。它将KV缓存划分为固定大小的块(Page),通过页表进行逻辑地址到物理地址的映射,实现非连续内存的高效管理。
3.2 在DeepSeek中的应用
DeepSeek推荐使用vLLM作为主要推理引擎,PagedAttention对DeepSeek的MoE架构尤其重要。MoE架构会创建许多短生命周期的小型KV缓存条目,PagedAttention的分页机制可以高效管理这些碎片化的缓存。
部分文件列表
| 文件名 | 大小 |
| DeepSeek的PagedAttention与KV缓存管理.docx | 38K |
最新上传
-
sialuoyu 打赏1.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
他山之石可攻玉 打赏60.00元 3天前
用户:烟雨
-
江岚 打赏310.00元 3天前
用户:潇潇江南
-
21ic下载 打赏310.00元 3天前
用户:江岚
-
21ic下载 打赏310.00元 3天前
用户:潇潇江南
-
21ic下载 打赏210.00元 3天前
用户:zhengdai
-
21ic下载 打赏60.00元 3天前
用户:他山之石可攻玉
-
21ic下载 打赏60.00元 3天前
用户:烟雨
-
21ic下载 打赏110.00元 3天前
用户:w993263495
-
21ic下载 打赏60.00元 3天前
用户:gsy幸运
-
21ic下载 打赏70.00元 3天前
用户:xzxbybd
-
21ic下载 打赏20.00元 3天前
用户:kkfjenui
-
21ic下载 打赏30.00元 3天前
用户:王小琪
-
21ic下载 打赏20.00元 3天前
用户:sun2152
-
21ic下载 打赏20.00元 3天前
用户:w1966891335
-
21ic下载 打赏20.00元 3天前
用户:xuzhen1
-
21ic下载 打赏20.00元 3天前
用户:w178191520
-
21ic下载 打赏20.00元 3天前
用户:zq_1943
-
21ic下载 打赏20.00元 3天前
用户:kk1957135547
-
21ic下载 打赏25.00元 3天前
用户:铁蛋锅
-
21ic下载 打赏20.00元 3天前
用户:liqiang9090
-
21ic下载 打赏20.00元 3天前
用户:x15580286248
-
21ic下载 打赏15.00元 3天前
用户:玉落彼岸
-
21ic下载 打赏5.00元 3天前
用户:hly1230218
-
21ic下载 打赏5.00元 3天前
用户:叮当猫666
-
21ic下载 打赏5.00元 3天前
用户:xjgtgl
-
21ic下载 打赏5.00元 3天前
-
21ic下载 打赏5.00元 3天前
用户:贵平130532
-
21ic下载 打赏5.00元 3天前
用户:linyi3
-
21ic下载 打赏10.00元 3天前
用户:有理想666
-
21ic下载 打赏10.00元 3天前
用户:yahuang001
-
21ic小能手 打赏3.00元 3天前
资料:小米MIX3电路图
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
江岚 打赏100.00元 3天前
用户:潇潇江南
-
他山之石可攻玉 打赏50.00元 3天前
用户:烟雨
-
21ic下载 打赏1.00元 3天前
用户:王小琪
-
yahuang001 打赏3.00元 3天前




全部评论(0)