- 1
- 2
- 3
- 4
- 5
面向存算一体芯片的模拟计算阵列中存算一体芯片的存算一体芯片在推荐系统中的大规模部署.docx
资料介绍
面向存算一体芯片的模拟计算阵列中存算一体芯片的存算一体芯片在推荐系统中的大规模部署
摘要
推荐系统是AI算力需求最大的应用场景之一，每天需要处理数十亿次推理请求。推荐系统的核心计算是嵌入表查找和全连接层矩阵乘法，嵌入表的容量可达TB级，全连接层的计算量可达每次推理10-100GOPS。本文针对推荐系统的存算一体加速需求，设计了一种面向推荐系统的存算一体加速器，将嵌入表存储在RRAM阵列中，在存算阵列中直接完成嵌入查找和矩阵乘法，将推荐推理的吞吐量提升66倍，能效提升181倍，为推荐系统的大规模部署提供了高能效的硬件方案。
一、推荐系统的计算特征
1.1 嵌入表查找
推荐系统的输入包含大量稀疏特征（如用户ID、商品ID），这些特征通过嵌入表转换为稠密向量。嵌入表的容量可达TB级，查找延迟和带宽消耗极大。
1.2 全连接层矩阵乘法
推荐系统的主要计算负载是嵌入层后的全连接层矩阵乘法，矩阵规模通常为1024×1024至4096×4096。
二、存算一体推荐系统加速器
2.1 嵌入表存内计算
将嵌入表存储在RRAM阵列中，用户ID和商品ID通过地址解码器直接访问RRAM阵列中的对应嵌入向量，无需经过片外存储的读取。嵌入查找的延迟从传统方案的数微秒降低至数十纳秒。
部分文件列表
| 文件名 | 大小 |
| 面向存算一体芯片的模拟计算阵列中存算一体芯片的存算一体芯片在推荐系统中的大规模部署.docx | 37K |
最新上传
- 打赏
- 30日榜单
-
tangyu1 打赏1.00元 3天前
-
jjjjkkkkk 打赏1.00元 3天前
-
emlimei 打赏1.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
资料：低频功率放大器的设计.
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：51单片机数字频率计
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
13573902396 打赏1.00元 3天前
-
21下载积分 打赏310.00元 3天前
用户：江岚
-
21下载积分 打赏310.00元 3天前
用户：潇潇江南
-
21下载积分 打赏60.00元 3天前
用户：他山之石可攻玉
-
21下载积分 打赏310.00元 3天前
用户：小猫做电路
-
21下载积分 打赏210.00元 3天前
用户：zhengdai
-
21下载积分 打赏210.00元 3天前
用户：w993263495
-
21下载积分 打赏10.00元 3天前
用户：烟雨
-
21下载积分 打赏60.00元 3天前
用户：gsy幸运
-
21下载积分 打赏70.00元 3天前
用户：铁蛋锅
-
21下载积分 打赏65.00元 3天前
用户：xzxbybd
-
21下载积分 打赏60.00元 3天前
用户：jh0355
-
21下载积分 打赏60.00元 3天前
用户：w178191520
-
21下载积分 打赏20.00元 3天前
用户：jh03551
-
21下载积分 打赏20.00元 3天前
用户：sun2152
-
21下载积分 打赏20.00元 3天前
用户：kk1957135547
-
21下载积分 打赏25.00元 3天前
用户：w1966891335
-
21下载积分 打赏20.00元 3天前
用户：xuzhen1
-
21下载积分 打赏15.00元 3天前
用户：x15580286248
-
21下载积分 打赏25.00元 3天前
用户：pcb
-
21下载积分 打赏20.00元 3天前
用户：bhacker
-
21下载积分 打赏15.00元 3天前
用户：liqiang9090
-
21下载积分 打赏25.00元 3天前
用户：有理想666
-
21下载积分 打赏15.00元 3天前
用户：godbox
-
21下载积分 打赏15.00元 3天前
用户：aetek
-
21下载积分 打赏5.00元 3天前
用户：mulanhk
-
21下载积分 打赏5.00元 3天前
用户：JuneLin61
全部评论(0)