- 1
- 2
- 3
- 4
- 5
深度学习训练中的混合并行技术
资料介绍
一、混合并行产生的背景
近年来，深度学习模型规模呈现出爆炸式增长，从早期AlexNet的数千万参数，发展到GPT-3的1750亿参数，再到GPT-4、文心一言等千亿乃至万亿参数大模型，单张GPU的显存容量已经完全无法容纳如此大规模的参数与训练过程中的中间激活值。早期数据并行是最常用的分布式训练方案，它将数据切分到多个GPU上，每个GPU保存完整的模型副本，仅在反向传播结束后同步梯度。但当模型参数规模超过单卡显存时，数据并行就彻底失效了。
为了解决超大模型的训练问题，研究者们先后提出了数据并行、模型并行、流水线并行、张量并行等多种并行策略，不同策略各有优劣：比如数据并行的通信成本随GPU数量线性增长，大批量下效率更高但无法解决单卡装不下模型的问题；模型并行把模型不同层放到不同GPU上，单卡显存压力降低，但单设备训练吞吐量低，设备利用率差；流水线并行通过将多个连续层分成不同阶段，让多个流水线阶段可以同时处理不同的数据分片，提升了设备利用率，但仍然存在流水线气泡导致的效率损失。
混合并行就是将多种不同的并行策略组合在一起，充分发挥不同策略的优势，在多GPU、多节点的大规模集群上高效训练超大参数规模的深度学习模型，解决了单卡显存不足和大规模集群训练效率的问题，已经成为当前大模型训练的标准方案。
二、基础并行策略介绍
在介绍混合并行之前，需要先明确几种常见的基础并行策略，混合并行本质上就是这些基础策略的维度组合。
1. 数据并行（Data Parallelism）
数据并行是最容易实现的并行策略，核心思路是保持模型完整，拆分训练数据：每个GPU都保存一份完整的模型参数，训练时每个GPU从全量训练数据中拿取不同的小批量数据，各自完成前向计算和反向传播得到梯度，然后通过集体通信（比如All-Reduce）将所有GPU上的梯度做平均，再更新每个GPU上的模型参数。
数据并行的优势在于实现简单，通信量仅来自梯度同步，当批量大小较大时，计算通信比高，训练效率高；但缺点非常明显：每个GPU都需要保存完整的模型，当模型参数超过单卡显存时就无法使用，对于千亿参数的大模型，即使是80GB的A100也无法放下完整模型，因此数据并行无法单独用于超大模型训练。
部分文件列表
| 文件名 | 大小 |
| 深度学习训练中的混合并行技术.docx | 19K |
最新上传
- 打赏
- 30日榜单
-
21下载积分 打赏310.00元 2天前
用户：江岚
-
21下载积分 打赏310.00元 2天前
用户：潇潇江南
-
21下载积分 打赏60.00元 2天前
用户：他山之石可攻玉
-
21下载积分 打赏310.00元 2天前
用户：小猫做电路
-
21下载积分 打赏210.00元 2天前
用户：zhengdai
-
21下载积分 打赏210.00元 2天前
用户：w993263495
-
21下载积分 打赏10.00元 2天前
用户：烟雨
-
21下载积分 打赏60.00元 2天前
用户：gsy幸运
-
21下载积分 打赏70.00元 2天前
用户：铁蛋锅
-
21下载积分 打赏65.00元 2天前
用户：xzxbybd
-
21下载积分 打赏60.00元 2天前
用户：jh0355
-
21下载积分 打赏60.00元 2天前
用户：w178191520
-
21下载积分 打赏20.00元 2天前
用户：jh03551
-
21下载积分 打赏20.00元 2天前
用户：sun2152
-
21下载积分 打赏20.00元 2天前
用户：kk1957135547
-
21下载积分 打赏25.00元 2天前
用户：w1966891335
-
21下载积分 打赏20.00元 2天前
用户：xuzhen1
-
21下载积分 打赏15.00元 2天前
用户：x15580286248
-
21下载积分 打赏25.00元 2天前
用户：pcb
-
21下载积分 打赏20.00元 2天前
用户：bhacker
-
21下载积分 打赏15.00元 2天前
用户：liqiang9090
-
21下载积分 打赏25.00元 2天前
用户：有理想666
-
21下载积分 打赏15.00元 2天前
用户：godbox
-
21下载积分 打赏15.00元 2天前
用户：aetek
-
21下载积分 打赏5.00元 2天前
用户：mulanhk
-
21下载积分 打赏5.00元 2天前
用户：JuneLin61
-
21下载积分 打赏5.00元 2天前
用户：ccc6188
-
21下载积分 打赏5.00元 2天前
用户：木集盒
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏8.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
全部评论(0)