- 1
- 2
- 3
- 4
- 5
动态稀疏架构
资料介绍
一、什么是动态稀疏架构
动态稀疏架构（Dynamic Sparse Architecture, DSA）是一类在模型运行过程中根据输入数据自适应调整网络连接结构与参数激活状态的深度学习架构设计范式，核心思想是打破传统密集型神经网络每一次推理都需要激活全部参数、执行全部计算的固定模式，通过动态激活部分参数、保留部分网络连接的方式，在保持模型整体容量不变的前提下，降低实际推理的计算量与内存占用，同时能够根据输入数据的复杂度自适应分配计算资源——简单输入仅激活少量网络单元，复杂输入激活更多网络单元，实现精度与效率的平衡。
与静态稀疏架构不同，动态稀疏架构的稀疏模式不是在模型训练完成后固定下来的，而是会根据每一个输入样本的特征动态变化，这种动态性让架构可以更好地适配不同复杂度的输入数据，同时避免静态剪枝带来的不可逆精度损失。
二、动态稀疏架构的核心原理
2.1 稀疏性的本质
深度神经网络天生具有参数冗余的特性，研究表明，预训练大模型中只有不到30%的参数对最终推理结果产生实质性贡献，不同输入样本激活的参数集合往往差异极大。动态稀疏架构正是利用了神经网络的这种参数冗余特性，通过让不同样本共享不同的参数子集，实现了“大模型容量，小计算开销”的效果。
2.2 动态性的核心逻辑
动态稀疏的动态性体现在两个层面：
1. 路由动态性：输入样本会经过一个轻量的路由模块，路由模块根据样本特征选择需要激活的网络单元或子层，不同样本走不同的计算路径。
2. 粒度动态性：可以在不同粒度上实现稀疏，从粗粒度的层、头粒度，到中粒度的通道、块粒度，再到细粒度的单个参数粒度，动态性覆盖不同层级的结构调整。
部分文件列表
| 文件名 | 大小 |
| 动态稀疏架构.docx | 18K |
最新上传
- 打赏
- 30日榜单
-
21下载积分 打赏310.00元 3天前
用户：江岚
-
21下载积分 打赏310.00元 3天前
用户：潇潇江南
-
21下载积分 打赏60.00元 3天前
用户：他山之石可攻玉
-
21下载积分 打赏310.00元 3天前
用户：小猫做电路
-
21下载积分 打赏210.00元 3天前
用户：zhengdai
-
21下载积分 打赏210.00元 3天前
用户：w993263495
-
21下载积分 打赏10.00元 3天前
用户：烟雨
-
21下载积分 打赏60.00元 3天前
用户：gsy幸运
-
21下载积分 打赏70.00元 3天前
用户：铁蛋锅
-
21下载积分 打赏65.00元 3天前
用户：xzxbybd
-
21下载积分 打赏60.00元 3天前
用户：jh0355
-
21下载积分 打赏60.00元 3天前
用户：w178191520
-
21下载积分 打赏20.00元 3天前
用户：jh03551
-
21下载积分 打赏20.00元 3天前
用户：sun2152
-
21下载积分 打赏20.00元 3天前
用户：kk1957135547
-
21下载积分 打赏25.00元 3天前
用户：w1966891335
-
21下载积分 打赏20.00元 3天前
用户：xuzhen1
-
21下载积分 打赏15.00元 3天前
用户：x15580286248
-
21下载积分 打赏25.00元 3天前
用户：pcb
-
21下载积分 打赏20.00元 3天前
用户：bhacker
-
21下载积分 打赏15.00元 3天前
用户：liqiang9090
-
21下载积分 打赏25.00元 3天前
用户：有理想666
-
21下载积分 打赏15.00元 3天前
用户：godbox
-
21下载积分 打赏15.00元 3天前
用户：aetek
-
21下载积分 打赏5.00元 3天前
用户：mulanhk
-
21下载积分 打赏5.00元 3天前
用户：JuneLin61
-
21下载积分 打赏5.00元 3天前
用户：ccc6188
-
21下载积分 打赏5.00元 3天前
用户：木集盒
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏8.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
全部评论(0)