- 1
- 2
- 3
- 4
- 5
参数量规模扩展-核心逻辑.docx
资料介绍
参数量规模扩展
一、参数量规模扩展的定义与发展历程
参数量规模扩展指的是人工智能大模型在开发迭代过程中，不断增加模型可训练参数总量的技术演进方向，是近年来深度学习领域推动模型性能提升的核心路径之一。从早期小规模神经网络的百万级参数量，到当前生成式AI大模型的千亿级、万亿级参数量，参数量规模扩展始终伴随着深度学习性能天花板的不断突破。
回顾发展历程，参数量扩展大致可以分为四个阶段：第一阶段是2012年AlexNet诞生前的萌芽期，此时受限于算力和数据，神经网络参数量多在百万级以内，深度模型尚未成为主流；第二阶段是2012-2018年的成长期，随着ImageNet竞赛中AlexNet的成功，卷积神经网络和循环神经网络快速发展，参数量逐步提升至千万级到亿级，代表模型比如VGG16参数量约为1.38亿；第三阶段是2018年BERT诞生后的起飞期，Transformer架构的普及彻底打开了参数量扩展的空间，BERT-Large参数量达到3.4亿，随后GPT-2将参数量提升到15亿，2020年GPT-3直接将参数量推高至1750亿，正式进入千亿参数时代；第四阶段是2021年至今的爆发期，全球科技公司纷纷推出超大规模大模型，参数量突破万亿级，比如Google PaLM参数量达到5400亿，GPT-4预估参数量超过1万亿，国内智源悟道、百度文心一言也推出了千亿甚至万亿级参数的大模型。
部分文件列表
| 文件名 | 大小 |
| 参数量规模扩展-核心逻辑.docx | 17K |
最新上传
- 打赏
- 30日榜单
-
aetek 打赏1.00元 15小时前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：江岚
-
21ic下载 打赏310.00元 3天前
用户：mulanhk
-
21ic下载 打赏320.00元 3天前
用户：jh03551
-
21ic下载 打赏220.00元 3天前
用户：jh0355
-
21ic下载 打赏210.00元 3天前
用户：潇潇江南
-
21ic下载 打赏210.00元 3天前
用户：小猫做电路
-
21ic下载 打赏60.00元 3天前
用户：gsy幸运
-
21ic下载 打赏60.00元 3天前
用户：zhengdai
-
21ic下载 打赏60.00元 3天前
用户：lanmukk
-
21ic下载 打赏60.00元 3天前
用户：烟雨
-
21ic下载 打赏20.00元 3天前
用户：w993263495
-
21ic下载 打赏30.00元 3天前
用户：sun2152
-
21ic下载 打赏20.00元 3天前
用户：w178191520
-
21ic下载 打赏20.00元 3天前
用户：liqiang9090
-
21ic下载 打赏20.00元 3天前
用户：xuzhen1
-
21ic下载 打赏35.00元 3天前
用户：有理想666
-
21ic下载 打赏15.00元 3天前
用户：w1966891335
-
21ic下载 打赏15.00元 3天前
用户：x15580286248
-
21ic下载 打赏25.00元 3天前
用户：qiufeng0299
-
21ic下载 打赏15.00元 3天前
用户：kk1957135547
-
21ic下载 打赏10.00元 3天前
用户：qingsong08
-
21ic下载 打赏10.00元 3天前
用户：电工老刘
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
ZENGYIBIN 打赏1.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：STM32的数字万用表
-
21ic小能手 打赏5.00元 3天前
-
kuangwy 打赏1.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：触控无极台灯控制方案
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
全部评论(0)