推荐星级:
  • 1
  • 2
  • 3
  • 4
  • 5

DeepSeek的PagedAttention与KV缓存管理.docx

更新时间:2026-10-05 13:06:49 大小:38K 上传用户:江岚查看TA发布的资源 标签:PagedAttentionKV缓存管理DeepSeekMLAFP8量化 下载积分:2分 评价赚积分 (如何评价?) 打赏 收藏 评论(0) 举报

资料介绍

DeepSeek的PagedAttention与KV缓存管理

一、引言

KV缓存(Key-Value Cache)是影响大模型推理效率的关键因素,尤其在长上下文场景下,KV缓存的管理直接决定了推理的吞吐量和延迟。DeepSeek在KV缓存管理方面采用了PagedAttention技术,并结合MLA的KV压缩和FP8量化,形成了一套完整的KV缓存优化体系。本文深入解析DeepSeek的KV缓存管理技术。

二、KV缓存的问题

2.1 内存占用

在标准Transformer推理中,每生成一个token,都需要缓存所有历史token的Key和Value向量。对于671B参数的MoE模型,KV缓存的内存占用可达数十GB,成为限制推理批次大小和序列长度的主要因素。

2.2 内存碎片

在并发请求场景中,不同请求的序列长度不同,KV缓存分配会导致严重的内存碎片。传统的连续内存分配方式在动态请求场景下效率极低,可能申请了96GB显存却只能使用40GB。

三、PagedAttention技术

3.1 核心思想

PagedAttention是vLLM推理框架的核心创新,灵感来自虚拟内存分页机制。它将KV缓存划分为固定大小的块(Page),通过页表进行逻辑地址到物理地址的映射,实现非连续内存的高效管理。

3.2 在DeepSeek中的应用

DeepSeek推荐使用vLLM作为主要推理引擎,PagedAttention对DeepSeek的MoE架构尤其重要。MoE架构会创建许多短生命周期的小型KV缓存条目,PagedAttention的分页机制可以高效管理这些碎片化的缓存。


部分文件列表

文件名 大小
DeepSeek的PagedAttention与KV缓存管理.docx 38K

全部评论(0)

暂无评论

上传资源 上传优质资源有赏金

  • 打赏
  • 30日榜单

推荐下载