- 1
- 2
- 3
- 4
- 5
DOJO超算的核心优势
资料介绍
一、专为AI训练定制的架构设计,适配大模型场景需求
DOJO超算是特斯拉为自动驾驶大模型训练量身打造的超级计算机,从架构底层就脱离了通用超算的设计思路,完全围绕AI大模型训练的特性优化。和传统依赖商用GPU搭建的超算不同,DOJO从芯片、互联到整个系统都由特斯拉自主研发,针对性解决了大模型训练中最突出的算力瓶颈、通信延迟、内存带宽三大问题,架构适配性远高于通用超算。
1. D1芯片:高算力密度的AI专用核心
DOJO的基础计算单元是特斯拉自研的D1芯片,采用7nm工艺制造,单芯片就集成了500亿个晶体管,提供362TOPS的BF16算力,功率仅为400W。和主流商用GPU相比,D1芯片专门针对AI训练的张量计算做了优化,砍掉了通用计算中无关的模块,算力密度远高于同级别商用芯片——每平方英寸的算力达到了DOJO之前特斯拉使用的A100GPU的3倍以上,相同的占地面积可以容纳更高的总算力。
同时D1芯片内置了高速互联接口,单芯片就支持6个互联端口,每个端口带宽达到了400Gbps,不需要额外的桥接芯片就可以实现多芯片高速互联,从芯片层面就为大规模集群扩展做好了准备,解决了传统超算集群中芯片互联带宽不足导致的算力浪费问题。
2. 分布式互联架构,实现线性算力扩展
DOJO最核心的设计创新在于其2D mesh互联的分布式架构:多个D1芯片可以直接封装成一个DOJO训练单元(Training Tile),一个Tile包含25个D1芯片,总算力达到9PFLOPS,内置缓存达到32TB,互联带宽达到36TB/s;多个Tile再通过高速网络连接成整个DOJO超算系统。这种设计让DOJO的算力可以近乎线性扩展,增加计算单元的时候,通信延迟不会出现明显上涨。
传统GPU超算集群中,GPU之间多依赖PCIe或者InfiniBand互联,跨节点通信延迟较高,大模型训练中多节点并行计算时,往往会因为数据同步的开销浪费大量算力,实际可用算力远低于理论算力。而DOJO从芯片到系统的全栈自研互联,让整个集群的通信效率提升了一个量级,大规模并行训练时的算力利用率可以保持在很高的水平,这对于千亿参数规模的自动驾驶大模型训练来说至关重要。
部分文件列表
| 文件名 | 大小 |
| DOJO超算的核心优势.docx | 14K |
最新上传
-
21ic小能手 打赏10.00元 1天前
-
21ic小能手 打赏5.00元 1天前
-
21ic下载 打赏310.00元 3天前
用户:江岚
-
21ic下载 打赏310.00元 3天前
用户:mulanhk
-
21ic下载 打赏320.00元 3天前
用户:jh03551
-
21ic下载 打赏220.00元 3天前
用户:jh0355
-
21ic下载 打赏210.00元 3天前
用户:潇潇江南
-
21ic下载 打赏210.00元 3天前
用户:小猫做电路
-
21ic下载 打赏60.00元 3天前
用户:gsy幸运
-
21ic下载 打赏60.00元 3天前
用户:zhengdai
-
21ic下载 打赏60.00元 3天前
用户:lanmukk
-
21ic下载 打赏60.00元 3天前
用户:烟雨
-
21ic下载 打赏20.00元 3天前
用户:w993263495
-
21ic下载 打赏30.00元 3天前
用户:sun2152
-
21ic下载 打赏20.00元 3天前
用户:w178191520
-
21ic下载 打赏20.00元 3天前
用户:liqiang9090
-
21ic下载 打赏20.00元 3天前
用户:xuzhen1
-
21ic下载 打赏35.00元 3天前
用户:有理想666
-
21ic下载 打赏15.00元 3天前
用户:w1966891335
-
21ic下载 打赏15.00元 3天前
用户:x15580286248
-
21ic下载 打赏25.00元 3天前
用户:qiufeng0299
-
21ic下载 打赏15.00元 3天前
用户:kk1957135547
-
21ic下载 打赏10.00元 3天前
用户:qingsong08
-
21ic下载 打赏10.00元 3天前
用户:电工老刘
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
ZENGYIBIN 打赏1.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料:STM32的数字万用表
-
21ic小能手 打赏5.00元 3天前
-
kuangwy 打赏1.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料:触控无极台灯控制方案
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料:51单片机的汽车雨刷器
-
21ic小能手 打赏5.00元 3天前




全部评论(0)