- 1
- 2
- 3
- 4
- 5
大模型训练实测之昇腾MindSpeed RL训推共卡显存调度性能数据与资源利用率提升分析.docx
资料介绍
大模型训练实测之昇腾MindSpeed RL训推共卡显存调度性能数据与资源利用率提升分析
背景
大模型强化学习（RL）后训练面临训推显存冲突的痛点——推理阶段需KV Cache占用大显存，训练阶段需优化器状态和梯度占用显存。传统训推分离部署需双倍硬件，利用率不足50%。华为MindSpeed RL框架通过训推共卡显存调度机制解决这一难题。
训推共卡方案使NPU资源利用率从45%提升至92%，端到端训练速度提升2.1倍。
核心机制
MindSpeed RL通过三层技术实现：训推共卡显存调度（推理时卸载训练权重至Host，训练时卸载KV Cache）、Resharding在线权重重切分（训练PP与推理TP间自动重切分）、分布式流水调度（样本流与重切分流解耦）。
小结
MindSpeed RL训推共卡方案使NPU资源利用率提升至92%，端到端训练速度提升2.1倍。该框架已在Qwen、DeepSeek等大模型RL训练中规模化落地。
部分文件列表
| 文件名 | 大小 |
| 253-大模型训练实测之昇腾MindSpeed_RL训推共卡显存调度性能数据与资源利用率提升分析.docx | 37K |
最新上传
- 打赏
- 30日榜单
-
他山之石可攻玉 打赏60.00元 12小时前
用户：烟雨
-
江岚 打赏210.00元 12小时前
用户：潇潇江南
-
江岚 打赏100.00元 12小时前
-
21ic下载 打赏310.00元 14小时前
用户：gsy幸运
-
21ic下载 打赏310.00元 14小时前
用户：zhengdai
-
21ic下载 打赏310.00元 14小时前
用户：江岚
-
21ic下载 打赏210.00元 14小时前
用户：潇潇江南
-
21ic下载 打赏60.00元 14小时前
用户：他山之石可攻玉
-
21ic下载 打赏60.00元 14小时前
用户：烟雨
-
21ic下载 打赏60.00元 14小时前
用户：w178191520
-
21ic下载 打赏60.00元 14小时前
用户：w993263495
-
21ic下载 打赏110.00元 14小时前
用户：xzxbybd
-
21ic下载 打赏60.00元 14小时前
用户：zq_1943
-
21ic下载 打赏20.00元 14小时前
用户：kk1957135547
-
21ic下载 打赏20.00元 14小时前
用户：sun2152
-
21ic下载 打赏20.00元 14小时前
用户：铁蛋锅
-
21ic下载 打赏20.00元 14小时前
用户：xuzhen1
-
21ic下载 打赏20.00元 14小时前
用户：w1966891335
-
21ic下载 打赏35.00元 14小时前
用户：有理想666
-
21ic下载 打赏15.00元 14小时前
用户：nuaanuaa111
-
21ic下载 打赏20.00元 14小时前
用户：liqiang9090
-
21ic下载 打赏15.00元 14小时前
用户：ningmengge
-
21ic下载 打赏10.00元 14小时前
用户：mulanhk
-
21ic下载 打赏5.00元 14小时前
用户：asys
-
21ic下载 打赏10.00元 14小时前
用户：舞蹈荀彧
-
21ic小能手 打赏5.00元 3天前
资料：磁编码器开源方案
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
江岚 打赏20.00元 3天前
-
江岚 打赏50.00元 3天前
-
江岚 打赏20.00元 3天前
-
江岚 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏8.00元 3天前
-
21ic小能手 打赏8.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
tangyu1 打赏1.00元 3天前
-
jjjjkkkkk 打赏1.00元 3天前
-
emlimei 打赏1.00元 3天前
全部评论(0)