推荐星级:
  • 1
  • 2
  • 3
  • 4
  • 5

大模型训练实测之摩尔线程夸娥万卡集群从零训练MoE-236B大模型全流程数据.docx

更新时间:2026-10-07 10:50:57 大小:38K 上传用户:烟雨查看TA发布的资源 标签:大模型训练摩尔线程夸娥万卡集群MoE-236BMTT S5000 下载积分:2分 评价赚积分 (如何评价?) 打赏 收藏 评论(0) 举报

资料介绍

大模型训练实测之摩尔线程夸娥万卡集群从零训练MoE-236B大模型全流程数据

测试背景

摩尔线程夸娥万卡集群基于MTT S5000 GPU搭建,浮点运算能力达10EFLOPS。本节分析该集群从零训练MoE-236B模型的全流程实测数据——这是国产GPU首次公开展示如此规模的模型训练实践成果。

MFU达60%的驱动力

稠密模型MFU达60%,MoE模型维持40%左右。这一表现主要得益于ACE技术将复杂通信任务从计算核心卸载,实现计算与通信的零冲突并行。从64卡扩展至1024卡时系统线性扩展效率保持在90%以上,训练速度随算力增加几乎同步倍增。

北大5D世界模型EvoPhys-World的训练验证

北京大学团队基于MTT S5000和MUSA软件栈训练出全球首个5D世界模型EvoPhys-World,登顶斯坦福WorldScore榜单。

在1000卡规模的训练中,智源使用夸娥集群完成通用具身大脑RoboBrain 2.5(数千亿参数)训练。训练Loss差异与H100集群仅0.62%,MMLU评测精度差异在千分之几范围内,整体训练效果实现小幅超越。

跨模型架构的通用训练能力

夸娥集群已实战跑通Wan2.1开源多模态模型的千卡长稳训练。在DeepSeek类MoE模型上,前3万步的平均相对误差控制在万分之六以内。


部分文件列表

文件名 大小
270-大模型训练实测之摩尔线程夸娥万卡集群从零训练MoE-236B大模型全流程数据.docx 38K

全部评论(0)

暂无评论

上传资源 上传优质资源有赏金

  • 打赏
  • 30日榜单

推荐下载