- 1
- 2
- 3
- 4
- 5
大模型训练实测之摩尔线程夸娥万卡集群从零训练MoE-236B大模型全流程数据.docx
资料介绍
大模型训练实测之摩尔线程夸娥万卡集群从零训练MoE-236B大模型全流程数据
测试背景
摩尔线程夸娥万卡集群基于MTT S5000 GPU搭建,浮点运算能力达10EFLOPS。本节分析该集群从零训练MoE-236B模型的全流程实测数据——这是国产GPU首次公开展示如此规模的模型训练实践成果。
MFU达60%的驱动力
稠密模型MFU达60%,MoE模型维持40%左右。这一表现主要得益于ACE技术将复杂通信任务从计算核心卸载,实现计算与通信的零冲突并行。从64卡扩展至1024卡时系统线性扩展效率保持在90%以上,训练速度随算力增加几乎同步倍增。
北大5D世界模型EvoPhys-World的训练验证
北京大学团队基于MTT S5000和MUSA软件栈训练出全球首个5D世界模型EvoPhys-World,登顶斯坦福WorldScore榜单。
在1000卡规模的训练中,智源使用夸娥集群完成通用具身大脑RoboBrain 2.5(数千亿参数)训练。训练Loss差异与H100集群仅0.62%,MMLU评测精度差异在千分之几范围内,整体训练效果实现小幅超越。
跨模型架构的通用训练能力
夸娥集群已实战跑通Wan2.1开源多模态模型的千卡长稳训练。在DeepSeek类MoE模型上,前3万步的平均相对误差控制在万分之六以内。
部分文件列表
| 文件名 | 大小 |
| 270-大模型训练实测之摩尔线程夸娥万卡集群从零训练MoE-236B大模型全流程数据.docx | 38K |
最新上传
-
sialuoyu 打赏1.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
他山之石可攻玉 打赏60.00元 3天前
用户:烟雨
-
江岚 打赏310.00元 3天前
用户:潇潇江南
-
21ic下载 打赏310.00元 3天前
用户:江岚
-
21ic下载 打赏310.00元 3天前
用户:潇潇江南
-
21ic下载 打赏210.00元 3天前
用户:zhengdai
-
21ic下载 打赏60.00元 3天前
用户:他山之石可攻玉
-
21ic下载 打赏60.00元 3天前
用户:烟雨
-
21ic下载 打赏110.00元 3天前
用户:w993263495
-
21ic下载 打赏60.00元 3天前
用户:gsy幸运
-
21ic下载 打赏70.00元 3天前
用户:xzxbybd
-
21ic下载 打赏20.00元 3天前
用户:kkfjenui
-
21ic下载 打赏30.00元 3天前
用户:王小琪
-
21ic下载 打赏20.00元 3天前
用户:sun2152
-
21ic下载 打赏20.00元 3天前
用户:w1966891335
-
21ic下载 打赏20.00元 3天前
用户:xuzhen1
-
21ic下载 打赏20.00元 3天前
用户:w178191520
-
21ic下载 打赏20.00元 3天前
用户:zq_1943
-
21ic下载 打赏20.00元 3天前
用户:kk1957135547
-
21ic下载 打赏25.00元 3天前
用户:铁蛋锅
-
21ic下载 打赏20.00元 3天前
用户:liqiang9090
-
21ic下载 打赏20.00元 3天前
用户:x15580286248
-
21ic下载 打赏15.00元 3天前
用户:玉落彼岸
-
21ic下载 打赏5.00元 3天前
用户:hly1230218
-
21ic下载 打赏5.00元 3天前
用户:叮当猫666
-
21ic下载 打赏5.00元 3天前
用户:xjgtgl
-
21ic下载 打赏5.00元 3天前
-
21ic下载 打赏5.00元 3天前
用户:贵平130532
-
21ic下载 打赏5.00元 3天前
用户:linyi3
-
21ic下载 打赏10.00元 3天前
用户:有理想666
-
21ic下载 打赏10.00元 3天前
用户:yahuang001
-
21ic小能手 打赏3.00元 3天前
资料:小米MIX3电路图
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
江岚 打赏100.00元 3天前
用户:潇潇江南
-
他山之石可攻玉 打赏50.00元 3天前
用户:烟雨
-
21ic下载 打赏1.00元 3天前
用户:王小琪
-
yahuang001 打赏3.00元 3天前




全部评论(0)