- 1
- 2
- 3
- 4
- 5
大模型训练实测之GLM-4在昇腾+RoCEv2网络中的训练收敛曲线与通信延迟关系分析.docx
资料介绍
大模型训练实测之GLM-4在昇腾+RoCEv2网络中的训练收敛曲线与通信延迟关系分析
测试背景
GLM-4是智谱AI推出的千亿级基础大模型，在国产大模型生态中占据重要地位。智谱AI与华为昇腾建立了深度合作关系，GLM-4在昇腾集群上的完整训练和推理流程已经过全栈验证。本节基于清程极智"赤兔"推理引擎和华为昇腾集群上的实测数据，分析GLM-4在RoCEv2网络中的训练收敛特征以及通信延迟对收敛速度的影响。
测试配置为256卡昇腾910B集群，200Gbps RoCEv2网络，CANN 8.0 + MindSpore框架。
通信延迟与收敛速度之间存在超线性关系。 当AllReduce延迟从2.1ms增加到8.8ms时，收敛所需步数增加了32%；当延迟进一步增加到15.3ms时，步数增加了65%。这一现象的原因在于：通信延迟增加不仅延长了单步时间，还导致梯度更新时刻的"老化"——过时的梯度会降低每次更新的有效性，使模型需要更多步数来收敛。
有效算力利用率与通信延迟的函数关系
进一步建立了MFU与AllReduce延迟之间的函数关系：
MFU(延迟) = MFU_base × (1 - 通信占比) + MFU_base × 通信占比 × (延迟基线 / 延迟实际)
当AllReduce延迟从2.1ms跃升至15.3ms时，MFU从52%下降至38%。 其中约8个百分点来自通信时间的直接增加，约6个百分点来自梯度老化导致的收敛效率下降。这一发现表明，RoCEv2网络中的通信延迟对训练效率的影响是双重的——既有直接的"时间损失"，也有间接的"收敛质量损失"。
部分文件列表
| 文件名 | 大小 |
| 243-大模型训练实测之GLM-4在昇腾+RoCEv2网络中的训练收敛曲线与通信延迟关系分析.docx | 39K |
最新上传
- 打赏
- 30日榜单
-
sialuoyu 打赏1.00元 18小时前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
他山之石可攻玉 打赏60.00元 3天前
用户：烟雨
-
江岚 打赏310.00元 3天前
用户：潇潇江南
-
21ic下载 打赏310.00元 3天前
用户：江岚
-
21ic下载 打赏310.00元 3天前
用户：潇潇江南
-
21ic下载 打赏210.00元 3天前
用户：zhengdai
-
21ic下载 打赏60.00元 3天前
用户：他山之石可攻玉
-
21ic下载 打赏60.00元 3天前
用户：烟雨
-
21ic下载 打赏110.00元 3天前
用户：w993263495
-
21ic下载 打赏60.00元 3天前
用户：gsy幸运
-
21ic下载 打赏70.00元 3天前
用户：xzxbybd
-
21ic下载 打赏20.00元 3天前
用户：kkfjenui
-
21ic下载 打赏30.00元 3天前
用户：王小琪
-
21ic下载 打赏20.00元 3天前
用户：sun2152
-
21ic下载 打赏20.00元 3天前
用户：w1966891335
-
21ic下载 打赏20.00元 3天前
用户：xuzhen1
-
21ic下载 打赏20.00元 3天前
用户：w178191520
-
21ic下载 打赏20.00元 3天前
用户：zq_1943
-
21ic下载 打赏20.00元 3天前
用户：kk1957135547
-
21ic下载 打赏25.00元 3天前
用户：铁蛋锅
-
21ic下载 打赏20.00元 3天前
用户：liqiang9090
-
21ic下载 打赏20.00元 3天前
用户：x15580286248
-
21ic下载 打赏15.00元 3天前
用户：玉落彼岸
-
21ic下载 打赏5.00元 3天前
用户：hly1230218
-
21ic下载 打赏5.00元 3天前
用户：叮当猫666
-
21ic下载 打赏5.00元 3天前
用户：xjgtgl
-
21ic下载 打赏5.00元 3天前
-
21ic下载 打赏5.00元 3天前
用户：贵平130532
-
21ic下载 打赏5.00元 3天前
用户：linyi3
-
21ic下载 打赏10.00元 3天前
用户：有理想666
-
21ic下载 打赏10.00元 3天前
用户：yahuang001
-
21ic小能手 打赏3.00元 3天前
资料：小米MIX3电路图
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
江岚 打赏100.00元 3天前
用户：潇潇江南
-
他山之石可攻玉 打赏50.00元 3天前
用户：烟雨
-
21ic下载 打赏1.00元 3天前
用户：王小琪
-
yahuang001 打赏3.00元 3天前
全部评论(0)