- 1
- 2
- 3
- 4
- 5
预训练模型
资料介绍
一、什么是预训练模型
预训练模型是人工智能领域，尤其是自然语言处理、计算机视觉等方向的一类基础模型，它指的是在大规模通用数据集上，通过自监督或者半监督学习方式完成前期训练，得到的具有通用知识表征能力的模型，开发者可以在此基础上，针对具体的下游任务，仅用少量标注数据进行微调，就能快速得到适配特定场景的可用模型。
简单来说，预训练模型相当于提前在海量通用数据中“学习”了基础的语言规律、视觉特征等通用知识，就像人类提前完成了基础教育，掌握了通用知识后，再学习某个专业领域的技能会更快一样，预训练模型把已经学到的通用知识迁移到具体任务，大幅降低了下游任务的训练成本和数据需求。
二、预训练模型的发展历程
预训练模型并非突然出现，它的发展经历了几个清晰的阶段：
1. 早期预训练阶段（2010年-2017年）：最早预训练思想主要应用在词向量层面，代表性成果是Word2Vec、GloVe等模型，这类模型会提前学习词语的分布式向量表示，把离散的词语转化为包含语义信息的连续向量，供下游任务使用，但这一阶段的预训练仅仅停留在词层面，整个模型结构还是需要针对下游任务从头训练，预训练仅仅是提供了更好的初始化参数。
2. 完形填空式预训练崛起（2018年）：Google提出的BERT彻底改变了预训练的范式，BERT使用Transformer编码器作为基础结构，采用掩码语言模型（MLM）的预训练任务，在大规模文本语料上进行预训练，在11项自然语言处理任务上都取得了当时最好的效果，正式开启了“预训练+微调”的主流范式，预训练也从词层面升级到整个模型层面。
3. 大模型规模化发展（2019年至今）：随着计算能力提升和数据规模增长，预训练模型参数量快速增长，从BERT的数亿参数，发展到GPT-3的1750亿参数，再到GPT-4、文心一言、通义千问等千亿、万亿级参数模型，预训练模型的能力从简单的语义理解升级到生成、推理、多模态理解等复杂能力，逐步成为人工智能应用的通用基础底座。
部分文件列表
| 文件名 | 大小 |
| 预训练模型.docx | 16K |
最新上传
- 打赏
- 30日榜单
-
lanmukk 打赏60.00元 2天前
-
lanmukk 打赏10.00元 2天前
-
21ic小能手 打赏5.00元 2天前
-
21ic下载 打赏310.00元 3天前
用户：江岚
-
21ic下载 打赏310.00元 3天前
用户：mulanhk
-
21ic下载 打赏310.00元 3天前
用户：潇潇江南
-
21ic下载 打赏210.00元 3天前
用户：小猫做电路
-
21ic下载 打赏210.00元 3天前
用户：gsy幸运
-
21ic下载 打赏210.00元 3天前
用户：zhengdai
-
21ic下载 打赏140.00元 3天前
用户：jh0355
-
21ic下载 打赏130.00元 3天前
用户：jh03551
-
21ic下载 打赏60.00元 3天前
用户：lanmukk
-
21ic下载 打赏60.00元 3天前
用户：kkkopj
-
21ic下载 打赏70.00元 3天前
用户：cooldog123pp
-
21ic下载 打赏20.00元 3天前
用户：烟雨
-
21ic下载 打赏20.00元 3天前
用户：xuzhen1
-
21ic下载 打赏20.00元 3天前
用户：sun2152
-
21ic下载 打赏20.00元 3天前
用户：w178191520
-
21ic下载 打赏15.00元 3天前
用户：w1966891335
-
21ic下载 打赏15.00元 3天前
用户：w993263495
-
21ic下载 打赏15.00元 3天前
用户：x15580286248
-
21ic下载 打赏15.00元 3天前
用户：liqiang9090
-
21ic下载 打赏15.00元 3天前
用户：kk1957135547
-
21ic下载 打赏5.00元 3天前
用户：创园船热情
-
21ic下载 打赏5.00元 3天前
用户：ytf4210
-
21ic下载 打赏10.00元 3天前
用户：有理想666
-
13806677280 打赏1.00元 3天前
-
21下载积分 打赏20.00元 3天前
用户：white工
-
Lzhf918@ 打赏10.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：mulanhk
-
21ic下载 打赏310.00元 3天前
用户：lanmukk
-
21ic下载 打赏310.00元 3天前
用户：zhengdai
-
21ic下载 打赏240.00元 3天前
用户：江岚
-
21ic下载 打赏240.00元 3天前
用户：潇潇江南
-
21ic下载 打赏210.00元 3天前
用户：gsy幸运
-
21ic下载 打赏70.00元 3天前
用户：小猫做电路
-
21ic下载 打赏120.00元 3天前
用户：jh0355
-
21ic下载 打赏110.00元 3天前
用户：jh03551
-
21ic下载 打赏70.00元 3天前
用户：liqiang9090
-
21ic下载 打赏45.00元 3天前
用户：有理想666
全部评论(0)