- 1
- 2
- 3
- 4
- 5
大模型推理实测之昇腾910B云端推理DeepSeek-R1-671B性能数据与延迟分析.docx
资料介绍
大模型推理实测之昇腾910B云端推理DeepSeek-R1 671B性能数据与延迟分析
测试背景
在DeepSeek-R1 671B MoE模型的云端推理场景中，昇腾910B的性能表现已接近H100水平。本节基于华为昇腾社区和第三方实测数据，系统分析昇腾910B在671B参数模型推理中的Prefill/Decode延迟、吞吐量和并发能力。
核心推理性能数据
在DeepSeek-R1 671B测试中，昇腾910B的单卡Prefill吞吐达6,688 tok/s，H100为约8,200 tok/s，达到H100的81.5%。在金融风控推理场景中，首Token延迟低于500ms，可用性达99.999%。
同时，在DeepSeek-V4-Flash（284B MoE，W8A8量化）的推理中，8卡910B2单机部署的表现为：
· 首Token延迟：<1.5s
· 生成速度：20-35 tok/s
· 支持10-20并发稳定运行
在同场景对比中，昇腾950PR在FP4精度下推理表现更为突出，DeepSeek V4实测FP4推理性能达H20的2.87倍，成本仅为1/3。
不同精度下的推理吞吐
在512序列长度、500并发条件下，昇腾910B在DeepSeek-V4-Flash上的输出吞吐达334.59 tok/s，首Token延迟（TTFT）在1并发时仅0.437s。
部分文件列表
| 文件名 | 大小 |
| 258-大模型推理实测之昇腾910B云端推理DeepSeek-R1-671B性能数据与延迟分析.docx | 37K |
最新上传
- 打赏
- 30日榜单
-
21ic小能手 打赏5.00元 8小时前
资料：磁编码器开源方案
-
21ic小能手 打赏5.00元 8小时前
-
21ic小能手 打赏5.00元 8小时前
-
江岚 打赏20.00元 3天前
-
江岚 打赏50.00元 3天前
-
江岚 打赏20.00元 3天前
-
江岚 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏8.00元 3天前
-
21ic小能手 打赏8.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
tangyu1 打赏1.00元 3天前
-
jjjjkkkkk 打赏1.00元 3天前
-
emlimei 打赏1.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
资料：低频功率放大器的设计.
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：51单片机数字频率计
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
13573902396 打赏1.00元 3天前
-
21下载积分 打赏310.00元 3天前
用户：江岚
-
21下载积分 打赏310.00元 3天前
用户：潇潇江南
-
21下载积分 打赏60.00元 3天前
用户：他山之石可攻玉
-
21下载积分 打赏310.00元 3天前
用户：小猫做电路
-
21下载积分 打赏210.00元 3天前
用户：zhengdai
-
21下载积分 打赏210.00元 3天前
用户：w993263495
-
21下载积分 打赏10.00元 3天前
用户：烟雨
-
21下载积分 打赏60.00元 3天前
用户：gsy幸运
-
21下载积分 打赏70.00元 3天前
用户：铁蛋锅
-
21下载积分 打赏65.00元 3天前
用户：xzxbybd
-
21下载积分 打赏60.00元 3天前
用户：jh0355
-
21下载积分 打赏60.00元 3天前
用户：w178191520
-
21下载积分 打赏20.00元 3天前
用户：jh03551
-
21下载积分 打赏20.00元 3天前
用户：sun2152
全部评论(0)