- 1
- 2
- 3
- 4
- 5
SSD KV Cache卸载AI推理显存扩展技术.docx
资料介绍
SSD KV Cache卸载：让SSD成为AI推理的显存扩展
摘要
在AI推理场景中，KV Cache的存储需求随上下文长度和批处理大小线性增长，当超出HBM容量时，系统需将KV Cache卸载到外部存储。PCIe 6.0 SSD凭借28GB/s的高带宽，使SSD作为KV Cache卸载层成为可行方案。英伟达被曝研发SSD直通显存扩展技术，Marvell Bravera SC6主控专门优化KV Cache卸载场景，大普微512TB QLC SSD为KV Cache提供超大容量存储。本文从技术原理、产品方案、性能分析与软件生态等维度，系统分析SSD KV Cache卸载技术的现状与前景。
一、KV Cache卸载的需求
大模型推理中，KV Cache的规模随序列长度线性增长。在长上下文推理（128K至1M tokens）场景中，KV Cache可达数十GB甚至TB级。当KV Cache超出GPU本地HBM容量时，系统需将部分KV Cache卸载到外部存储。
二、SSD作为卸载层的优势
与CXL内存池相比，SSD作为KV Cache卸载层的优势在于成本更低、容量更大，但劣势在于延迟更高（微秒级vs亚微秒级）。
三、技术方案
3.1 PCIe 6.0 SSD直接卸载
Marvell Bravera SC6主控专门优化AI推理场景，通过PCIe 6.0链路将KV Cache从HBM卸载到SSD，以更廉价的闪存替代部分高带宽内存。
3.2 英伟达GPU直通SSD
英伟达正研发GPU存储直通技术，允许SSD固态硬盘直接充当显存扩展，缓解游戏与AI场景下的显存瓶颈。
部分文件列表
| 文件名 | 大小 |
| SSD_KV_Cache卸载AI推理显存扩展技术.docx | 37K |
最新上传
- 打赏
- 30日榜单
-
aetek 打赏1.00元 22小时前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：江岚
-
21ic下载 打赏310.00元 3天前
用户：mulanhk
-
21ic下载 打赏320.00元 3天前
用户：jh03551
-
21ic下载 打赏220.00元 3天前
用户：jh0355
-
21ic下载 打赏210.00元 3天前
用户：潇潇江南
-
21ic下载 打赏210.00元 3天前
用户：小猫做电路
-
21ic下载 打赏60.00元 3天前
用户：gsy幸运
-
21ic下载 打赏60.00元 3天前
用户：zhengdai
-
21ic下载 打赏60.00元 3天前
用户：lanmukk
-
21ic下载 打赏60.00元 3天前
用户：烟雨
-
21ic下载 打赏20.00元 3天前
用户：w993263495
-
21ic下载 打赏30.00元 3天前
用户：sun2152
-
21ic下载 打赏20.00元 3天前
用户：w178191520
-
21ic下载 打赏20.00元 3天前
用户：liqiang9090
-
21ic下载 打赏20.00元 3天前
用户：xuzhen1
-
21ic下载 打赏35.00元 3天前
用户：有理想666
-
21ic下载 打赏15.00元 3天前
用户：w1966891335
-
21ic下载 打赏15.00元 3天前
用户：x15580286248
-
21ic下载 打赏25.00元 3天前
用户：qiufeng0299
-
21ic下载 打赏15.00元 3天前
用户：kk1957135547
-
21ic下载 打赏10.00元 3天前
用户：qingsong08
-
21ic下载 打赏10.00元 3天前
用户：电工老刘
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
ZENGYIBIN 打赏1.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：STM32的数字万用表
-
21ic小能手 打赏5.00元 3天前
-
kuangwy 打赏1.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：触控无极台灯控制方案
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
全部评论(0)