- 1
- 2
- 3
- 4
- 5
商汤大装置推理性能对比之异构混合推理MFU提升85 -152 与同成本Token产出分析.docx
资料介绍
商汤大装置推理性能对比分析之一：异构混合推理MFU 85%-152%提升与同成本Token产出扩大2.5倍
核心结论
商汤大装置依托异构混合推理技术，实现主流国产芯片MFU提升85%-152%，整体推理性价比达到NVIDIA H系列的1.25倍，同成本下Token产出规模扩大2.5倍。这意味着国产算力集群第一次具备了"可盈利的规模化Token生产"能力。
MFU提升85%-152%的技术实现
MFU（模型浮点运算利用率）是衡量算力芯片有效利用程度的核心指标。国产芯片的MFU普遍偏低（通常不足40%），根源在于显存容量不足、卡间互联带宽偏低、融合算子性能不达标。商汤通过PD分离架构将大模型推理的Prefill和Decode两个阶段拆分处理——Decode对显存和带宽要求最高，交给性能更强的高端资源；Prefill对算力堆叠量要求更高，交给数量更多的国产芯片。在典型业务场景下，一块高端芯片带动约30块国产芯片协同工作。
部分文件列表
| 文件名 | 大小 |
| 288-商汤大装置推理性能对比之异构混合推理MFU提升85%-152%与同成本Token产出分析.docx | 37K |
最新上传
- 打赏
- 30日榜单
-
21ic小能手 打赏5.00元 8小时前
资料：磁编码器开源方案
-
21ic小能手 打赏5.00元 8小时前
-
21ic小能手 打赏5.00元 8小时前
-
江岚 打赏20.00元 3天前
-
江岚 打赏50.00元 3天前
-
江岚 打赏20.00元 3天前
-
江岚 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏8.00元 3天前
-
21ic小能手 打赏8.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
tangyu1 打赏1.00元 3天前
-
jjjjkkkkk 打赏1.00元 3天前
-
emlimei 打赏1.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
资料：低频功率放大器的设计.
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：51单片机数字频率计
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
13573902396 打赏1.00元 3天前
-
21下载积分 打赏310.00元 3天前
用户：江岚
-
21下载积分 打赏310.00元 3天前
用户：潇潇江南
-
21下载积分 打赏60.00元 3天前
用户：他山之石可攻玉
-
21下载积分 打赏310.00元 3天前
用户：小猫做电路
-
21下载积分 打赏210.00元 3天前
用户：zhengdai
-
21下载积分 打赏210.00元 3天前
用户：w993263495
-
21下载积分 打赏10.00元 3天前
用户：烟雨
-
21下载积分 打赏60.00元 3天前
用户：gsy幸运
-
21下载积分 打赏70.00元 3天前
用户：铁蛋锅
-
21下载积分 打赏65.00元 3天前
用户：xzxbybd
-
21下载积分 打赏60.00元 3天前
用户：jh0355
-
21下载积分 打赏60.00元 3天前
用户：w178191520
-
21下载积分 打赏20.00元 3天前
用户：jh03551
-
21下载积分 打赏20.00元 3天前
用户：sun2152
全部评论(0)