- 1
- 2
- 3
- 4
- 5
稀疏激活技术演进路径.docx
资料介绍
架构创新：从全参数激活到稀疏激活
一、大模型发展背后的效率困境
近年来，大语言模型凭借出色的通用能力刷新了人工智能产业的认知，从ChatGPT到GPT-4，再到各类国产大模型，模型参数规模从数十亿级一路攀升至千亿、万亿级，性能提升的同时，训练与推理成本也呈指数级增长。公开数据显示，千亿参数大模型单次训练的电力消耗超过数百万千瓦时，单张高端AI加速卡仅能承载数十亿规模的参数运行，要支撑千亿参数模型的推理，需要多卡并行甚至集群部署，高昂的硬件与运营成本成为大模型落地的巨大门槛。
这一困境的根源，来自主流大模型长期采用的全参数激活范式：在模型运行的每一个推理步，所有参数都需要被加载到计算单元参与运算，不管当前处理的简单任务是否真的需要全部参数参与。也就是说，当用户让模型输出“1+1等于几”这种简单问题时，千亿参数里99%以上的参数其实都处于无效计算状态，大量算力被浪费在不需要的参数运算上。
随着大模型向端侧落地渗透，这种浪费变得更加不可接受。手机、智能汽车等端侧设备的算力、内存都远逊于数据中心，要把千亿参数大模型放到端侧运行，全参数激活的模式根本无法实现，因此，行业开始探索新的架构路线，稀疏激活就是其中最受关注的方向之一。
二、什么是稀疏激活：让参数按需“上班”
稀疏激活的核心逻辑非常直白：并非所有输入都需要模型全部参数参与计算，模型只需要激活和当前任务最相关的一小部分参数，就能输出符合要求的结果，也就是让多数参数“闲置待命”，只让少数匹配当前输入的参数“上班干活”。
部分文件列表
| 文件名 | 大小 |
| 稀疏激活技术演进路径.docx | 15K |
最新上传
- 打赏
- 30日榜单
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：江岚
-
21ic下载 打赏310.00元 3天前
用户：mulanhk
-
21ic下载 打赏320.00元 3天前
用户：jh03551
-
21ic下载 打赏220.00元 3天前
用户：jh0355
-
21ic下载 打赏210.00元 3天前
用户：潇潇江南
-
21ic下载 打赏210.00元 3天前
用户：小猫做电路
-
21ic下载 打赏60.00元 3天前
用户：gsy幸运
-
21ic下载 打赏60.00元 3天前
用户：zhengdai
-
21ic下载 打赏60.00元 3天前
用户：lanmukk
-
21ic下载 打赏60.00元 3天前
用户：烟雨
-
21ic下载 打赏20.00元 3天前
用户：w993263495
-
21ic下载 打赏30.00元 3天前
用户：sun2152
-
21ic下载 打赏20.00元 3天前
用户：w178191520
-
21ic下载 打赏20.00元 3天前
用户：liqiang9090
-
21ic下载 打赏20.00元 3天前
用户：xuzhen1
-
21ic下载 打赏35.00元 3天前
用户：有理想666
-
21ic下载 打赏15.00元 3天前
用户：w1966891335
-
21ic下载 打赏15.00元 3天前
用户：x15580286248
-
21ic下载 打赏25.00元 3天前
用户：qiufeng0299
-
21ic下载 打赏15.00元 3天前
用户：kk1957135547
-
21ic下载 打赏10.00元 3天前
用户：qingsong08
-
21ic下载 打赏10.00元 3天前
用户：电工老刘
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
ZENGYIBIN 打赏1.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：STM32的数字万用表
-
21ic小能手 打赏5.00元 3天前
-
kuangwy 打赏1.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：触控无极台灯控制方案
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：51单片机的汽车雨刷器
全部评论(0)