- 1
- 2
- 3
- 4
- 5
面向存算一体芯片的模拟计算阵列中存算一体芯片的稀疏计算加速与零值跳过技术.docx
资料介绍
面向存算一体芯片的模拟计算阵列中存算一体芯片的稀疏计算加速与零值跳过技术
摘要
神经网络模型中的大量权重和激活值在训练后呈现出高度稀疏性——在采用ReLU激活函数的网络中，超过50%的激活值为零；在经过剪枝优化的模型中，60%-90%的权重为零。在传统计算架构中，这些零值仍然参与计算，消耗了不必要的算力和功耗。在存算一体芯片的模拟计算阵列中，零值计算同样消耗能量——即使输入为零，模拟计算单元仍会产生静态功耗。本文针对存算一体芯片模拟计算阵列的稀疏计算加速问题，提出了一种面向模拟计算阵列的零值跳过技术，通过输入感知的预判断电路和稀疏数据流调度，将无效计算功耗降低60%以上，有效提升了存算一体芯片的能效比。
一、神经网络稀疏性与模拟计算效率
1.1 稀疏性的来源与分布
神经网络中的稀疏性来源于两个层面。激活值稀疏性——ReLU及其变体激活函数将负值映射为零，使得在典型推理过程中，隐藏层的激活值稀疏度达到40%-60%。随着网络深度增加，深层网络的激活稀疏度通常更高，某些层可达80%以上。权重稀疏性——通过剪枝（Pruning）技术，可以移除对模型精度影响较小的权重连接，在保持模型精度损失小于1%的前提下，可将权重稀疏度提升至80%-90%。权重稀疏性在模型部署前已经确定，具有静态特征；激活稀疏性则依赖于输入数据，呈现动态变化特征。
部分文件列表
| 文件名 | 大小 |
| 面向存算一体芯片的模拟计算阵列中存算一体芯片的稀疏计算加速与零值跳过技术.docx | 39K |
最新上传
- 打赏
- 30日榜单
-
tangyu1 打赏1.00元 3小时前
-
jjjjkkkkk 打赏1.00元 1天前
-
emlimei 打赏1.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
资料：低频功率放大器的设计.
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：51单片机数字频率计
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
13573902396 打赏1.00元 3天前
-
21下载积分 打赏310.00元 3天前
用户：江岚
-
21下载积分 打赏310.00元 3天前
用户：潇潇江南
-
21下载积分 打赏60.00元 3天前
用户：他山之石可攻玉
-
21下载积分 打赏310.00元 3天前
用户：小猫做电路
-
21下载积分 打赏210.00元 3天前
用户：zhengdai
-
21下载积分 打赏210.00元 3天前
用户：w993263495
-
21下载积分 打赏10.00元 3天前
用户：烟雨
-
21下载积分 打赏60.00元 3天前
用户：gsy幸运
-
21下载积分 打赏70.00元 3天前
用户：铁蛋锅
-
21下载积分 打赏65.00元 3天前
用户：xzxbybd
-
21下载积分 打赏60.00元 3天前
用户：jh0355
-
21下载积分 打赏60.00元 3天前
用户：w178191520
-
21下载积分 打赏20.00元 3天前
用户：jh03551
-
21下载积分 打赏20.00元 3天前
用户：sun2152
-
21下载积分 打赏20.00元 3天前
用户：kk1957135547
-
21下载积分 打赏25.00元 3天前
用户：w1966891335
-
21下载积分 打赏20.00元 3天前
用户：xuzhen1
-
21下载积分 打赏15.00元 3天前
用户：x15580286248
-
21下载积分 打赏25.00元 3天前
用户：pcb
-
21下载积分 打赏20.00元 3天前
用户：bhacker
-
21下载积分 打赏15.00元 3天前
用户：liqiang9090
-
21下载积分 打赏25.00元 3天前
用户：有理想666
-
21下载积分 打赏15.00元 3天前
用户：godbox
-
21下载积分 打赏15.00元 3天前
用户：aetek
-
21下载积分 打赏5.00元 3天前
用户：mulanhk
-
21下载积分 打赏5.00元 3天前
用户：JuneLin61
全部评论(0)