- 1
- 2
- 3
- 4
- 5
开源大模型:定义与发展
资料介绍
一、什么是开源大模型
开源大模型是源代码开放可公开获取的大语言模型或多模态大模型,遵循特定开源许可协议,允许开发者、研究机构或企业自由访问模型权重、修改模型结构、二次开发甚至商用发布。和闭源大模型(如GPT-4、Claude 3)相比,开源大模型的核心优势在于开放透明性:任何人都可以查看模型训练逻辑、调整参数适配特定场景,不需要依赖第三方API接口,也不需要为调用服务支付持续的Token费用。
不同开源大模型遵循的许可协议存在差异,常见的协议包括:
1. MIT协议:自由度极高,允许修改、商用、闭源再分发,几乎没有限制,代表项目如Llama 2衍生的多数微调模型、Mistral 7B部分变体;
2. Apache 2.0协议:允许商用和修改,要求保留原版权声明,对专利授权有明确规范,代表项目如Qwen系列、Yi系列;
3. Llama 2社区许可:Meta推出的非完全开源许可,允许免费商用,但月活超过7亿的产品需要单独向Meta申请授权;
4. 非商用开源许可:部分研究型模型仅允许非商用使用,禁止商业场景二次开发,代表如早期Llama 1。
二、开源大模型的发展历程
开源大模型的发展和大模型整体技术迭代高度绑定,大致可以分为三个阶段:
萌芽阶段(2020-2022年上半年):小参数开源预训练模型探索
在ChatGPT引爆大模型行业之前,开源社区已经开始探索大参数预训练语言模型,但受限于算力和数据,参数规模大多在10B(100亿)以下,以学术研究为主要目标。这一阶段的代表性项目包括OpenAI的GPT-2(1.5B参数,后来逐步开放开源)、谷歌发布的BERT系列衍生开源模型、EleutherAI推出的GPT-Neo系列,这些模型验证了大参数预训练的效果,为后续开源大模型发展积累了技术和数据基础。
部分文件列表
| 文件名 | 大小 |
| 开源大模型:定义与发展.docx | 17K |
最新上传
-
x1707 打赏1.00元 3天前
-
lanmukk 打赏60.00元 3天前
-
lanmukk 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户:江岚
-
21ic下载 打赏310.00元 3天前
用户:mulanhk
-
21ic下载 打赏310.00元 3天前
用户:潇潇江南
-
21ic下载 打赏210.00元 3天前
用户:小猫做电路
-
21ic下载 打赏210.00元 3天前
用户:gsy幸运
-
21ic下载 打赏210.00元 3天前
用户:zhengdai
-
21ic下载 打赏140.00元 3天前
用户:jh0355
-
21ic下载 打赏130.00元 3天前
用户:jh03551
-
21ic下载 打赏60.00元 3天前
用户:lanmukk
-
21ic下载 打赏60.00元 3天前
用户:kkkopj
-
21ic下载 打赏70.00元 3天前
用户:cooldog123pp
-
21ic下载 打赏20.00元 3天前
用户:烟雨
-
21ic下载 打赏20.00元 3天前
用户:xuzhen1
-
21ic下载 打赏20.00元 3天前
用户:sun2152
-
21ic下载 打赏20.00元 3天前
用户:w178191520
-
21ic下载 打赏15.00元 3天前
用户:w1966891335
-
21ic下载 打赏15.00元 3天前
用户:w993263495
-
21ic下载 打赏15.00元 3天前
用户:x15580286248
-
21ic下载 打赏15.00元 3天前
用户:liqiang9090
-
21ic下载 打赏15.00元 3天前
用户:kk1957135547
-
21ic下载 打赏5.00元 3天前
用户:创园船热情
-
21ic下载 打赏5.00元 3天前
用户:ytf4210
-
21ic下载 打赏10.00元 3天前
用户:有理想666
-
13806677280 打赏1.00元 3天前
-
21下载积分 打赏20.00元 3天前
用户:white工
-
Lzhf918@ 打赏10.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户:mulanhk
-
21ic下载 打赏310.00元 3天前
用户:lanmukk
-
21ic下载 打赏310.00元 3天前
用户:zhengdai
-
21ic下载 打赏240.00元 3天前
用户:江岚
-
21ic下载 打赏240.00元 3天前
用户:潇潇江南
-
21ic下载 打赏210.00元 3天前
用户:gsy幸运
-
21ic下载 打赏70.00元 3天前
用户:小猫做电路
-
21ic下载 打赏120.00元 3天前
用户:jh0355
-
21ic下载 打赏110.00元 3天前
用户:jh03551
-
21ic下载 打赏70.00元 3天前
用户:liqiang9090




全部评论(0)