- 1
- 2
- 3
- 4
- 5
SSD KV Cache卸载AI推理显存扩展技术.docx
资料介绍
SSD KV Cache卸载：让SSD成为AI推理的显存扩展
摘要
在AI推理场景中，KV Cache的存储需求随上下文长度和批处理大小线性增长，当超出HBM容量时，系统需将KV Cache卸载到外部存储。PCIe 6.0 SSD凭借28GB/s的高带宽，使SSD作为KV Cache卸载层成为可行方案。英伟达被曝研发SSD直通显存扩展技术，Marvell Bravera SC6主控专门优化KV Cache卸载场景，大普微512TB QLC SSD为KV Cache提供超大容量存储。本文从技术原理、产品方案、性能分析与软件生态等维度，系统分析SSD KV Cache卸载技术的现状与前景。
一、KV Cache卸载的需求
大模型推理中，KV Cache的规模随序列长度线性增长。在长上下文推理（128K至1M tokens）场景中，KV Cache可达数十GB甚至TB级。当KV Cache超出GPU本地HBM容量时，系统需将部分KV Cache卸载到外部存储。
二、SSD作为卸载层的优势
与CXL内存池相比，SSD作为KV Cache卸载层的优势在于成本更低、容量更大，但劣势在于延迟更高（微秒级vs亚微秒级）。
三、技术方案
3.1 PCIe 6.0 SSD直接卸载
Marvell Bravera SC6主控专门优化AI推理场景，通过PCIe 6.0链路将KV Cache从HBM卸载到SSD，以更廉价的闪存替代部分高带宽内存。
3.2 英伟达GPU直通SSD
英伟达正研发GPU存储直通技术，允许SSD固态硬盘直接充当显存扩展，缓解游戏与AI场景下的显存瓶颈。
部分文件列表
| 文件名 | 大小 |
| SSD_KV_Cache卸载AI推理显存扩展技术.docx | 37K |
最新上传
- 打赏
- 30日榜单
-
yahuang001 打赏3.00元 3天前
-
yahuang001 打赏1.00元 3天前
-
zhongshaoxiong 打赏3.00元 3天前
-
他山之石可攻玉 打赏60.00元 3天前
用户：烟雨
-
江岚 打赏210.00元 3天前
用户：潇潇江南
-
江岚 打赏100.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：gsy幸运
-
21ic下载 打赏310.00元 3天前
用户：zhengdai
-
21ic下载 打赏310.00元 3天前
用户：江岚
-
21ic下载 打赏210.00元 3天前
用户：潇潇江南
-
21ic下载 打赏60.00元 3天前
用户：他山之石可攻玉
-
21ic下载 打赏60.00元 3天前
用户：烟雨
-
21ic下载 打赏60.00元 3天前
用户：w178191520
-
21ic下载 打赏60.00元 3天前
用户：w993263495
-
21ic下载 打赏110.00元 3天前
用户：xzxbybd
-
21ic下载 打赏60.00元 3天前
用户：zq_1943
-
21ic下载 打赏20.00元 3天前
用户：kk1957135547
-
21ic下载 打赏20.00元 3天前
用户：sun2152
-
21ic下载 打赏20.00元 3天前
用户：铁蛋锅
-
21ic下载 打赏20.00元 3天前
用户：xuzhen1
-
21ic下载 打赏20.00元 3天前
用户：w1966891335
-
21ic下载 打赏35.00元 3天前
用户：有理想666
-
21ic下载 打赏15.00元 3天前
用户：nuaanuaa111
-
21ic下载 打赏20.00元 3天前
用户：liqiang9090
-
21ic下载 打赏15.00元 3天前
用户：ningmengge
-
21ic下载 打赏10.00元 3天前
用户：mulanhk
-
21ic下载 打赏5.00元 3天前
用户：asys
-
21ic下载 打赏10.00元 3天前
用户：舞蹈荀彧
-
21ic小能手 打赏5.00元 3天前
资料：磁编码器开源方案
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
江岚 打赏20.00元 3天前
-
江岚 打赏50.00元 3天前
-
江岚 打赏20.00元 3天前
-
江岚 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏8.00元 3天前
-
21ic小能手 打赏8.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
全部评论(0)