- 1
- 2
- 3
- 4
- 5
大参数模型-核心引擎
资料介绍
一、什么是大参数模型
大参数模型是人工智能领域中，参数数量达到数十亿甚至千亿万亿级别的深度学习模型，是基于深度学习的 Transformer 架构发展而来的产物。参数是深度学习模型中存储知识的核心单元，参数数量的增长，直接带来了模型对复杂模式学习能力、对通用知识存储能力的跃迁，让人工智能从“专用”走向“通用”成为可能。
不同于传统针对特定任务训练的小参数模型，大参数模型具备更强的泛化能力，无需针对每一个下游任务重新训练，只需要通过少量样本提示微调，就能适配翻译、文本生成、代码编写、图像识别、语音合成等数十种不同任务，因此也成为当前通用人工智能（AGI）发展的核心载体。
二、大参数模型的发展历程
大参数模型的发展是一个沿着“算力提升-架构创新-数据积累”三条主线逐步推进的过程：
萌芽阶段（2017-2019）：架构突破开启大模型之路
2017年Google团队发表论文《Attention Is All You Need》，提出Transformer架构，通过自注意力机制解决了传统循环神经网络长距离依赖不足的问题，为大参数模型的 scaling （规模化扩展）奠定了架构基础。2018年OpenAI推出GPT-1，参数规模仅1.17亿，首次验证了预训练加微调的范式；2019年GPT-2推出，参数规模提升到15亿，首次展现出大模型生成连贯文本的能力，让行业意识到参数增长带来的能力提升。
爆发阶段（2020-2022）：参数竞赛涌现千亿级模型
2020年OpenAI推出GPT-3，参数规模达到1750亿，首次证明千亿参数模型能够涌现出小参数模型不具备的复杂推理、上下文学习能力，引爆了全球范围内的大参数模型研发热潮。随后Google推出PaLM系列模型，参数规模最高达到5400亿；国内也先后推出智源悟道、盘古大模型、通义千问、文心一言等不同参数规模的大模型，行业进入快速扩张期。
部分文件列表
| 文件名 | 大小 |
| 大参数模型-核心引擎.docx | 16K |
最新上传
- 打赏
- 30日榜单
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：江岚
-
21ic下载 打赏310.00元 3天前
用户：mulanhk
-
21ic下载 打赏320.00元 3天前
用户：jh03551
-
21ic下载 打赏220.00元 3天前
用户：jh0355
-
21ic下载 打赏210.00元 3天前
用户：潇潇江南
-
21ic下载 打赏210.00元 3天前
用户：小猫做电路
-
21ic下载 打赏60.00元 3天前
用户：gsy幸运
-
21ic下载 打赏60.00元 3天前
用户：zhengdai
-
21ic下载 打赏60.00元 3天前
用户：lanmukk
-
21ic下载 打赏60.00元 3天前
用户：烟雨
-
21ic下载 打赏20.00元 3天前
用户：w993263495
-
21ic下载 打赏30.00元 3天前
用户：sun2152
-
21ic下载 打赏20.00元 3天前
用户：w178191520
-
21ic下载 打赏20.00元 3天前
用户：liqiang9090
-
21ic下载 打赏20.00元 3天前
用户：xuzhen1
-
21ic下载 打赏35.00元 3天前
用户：有理想666
-
21ic下载 打赏15.00元 3天前
用户：w1966891335
-
21ic下载 打赏15.00元 3天前
用户：x15580286248
-
21ic下载 打赏25.00元 3天前
用户：qiufeng0299
-
21ic下载 打赏15.00元 3天前
用户：kk1957135547
-
21ic下载 打赏10.00元 3天前
用户：qingsong08
-
21ic下载 打赏10.00元 3天前
用户：电工老刘
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
ZENGYIBIN 打赏1.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：STM32的数字万用表
-
21ic小能手 打赏5.00元 3天前
-
kuangwy 打赏1.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：触控无极台灯控制方案
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：51单片机的汽车雨刷器
全部评论(0)