推荐星级:
  • 1
  • 2
  • 3
  • 4
  • 5

面向AI推理的存算一体芯片中数据复用与数据流调度策略.docx

资料介绍

面向AI推理的存算一体芯片中数据复用与数据流调度策略

——从输入固定到权重固定的数据流优化与能量效率分析

引言

在存算一体芯片中,数据流(Dataflow)策略决定了数据在存储阵列和计算单元之间的移动方式,直接影响芯片的计算性能和能效。不同的神经网络模型和层类型需要不同的数据流策略——卷积层适合权重固定数据流,全连接层适合输入固定数据流,而Transformer层需要混合数据流。数据复用通过减少数据搬运次数,降低能耗和延迟。本文系统分析面向AI推理的存算一体芯片中数据复用与数据流调度策略,从输入固定到权重固定的数据流优化方案。

数据流的基本类型

输入固定数据流

输入固定数据流(Input-Stationary, IS)将输入数据固定在计算单元中:

1. 工作原理:输入数据加载到计算单元后,在计算多个权重时保持不变,权重数据流经计算单元。

2. 适用场景:适用于输入数据复用率高的场景,如全连接层和卷积层。

3. 能量特征:输入数据搬运能耗低,权重数据搬运能耗高。

权重固定数据流

权重固定数据流(Weight-Stationary, WS)将权重数据固定在计算单元中:

1. 工作原理:权重加载到存储阵列后,在计算多个输入数据时保持不变,输入数据流经存储阵列。

2. 适用场景:适用于权重复用率高的场景,如推理过程中的权重固定。

3. 能量特征:权重数据搬运能耗低,输入数据搬运能耗高。


部分文件列表

文件名 大小
面向AI推理的存算一体芯片中数据复用与数据流调度策略.docx 39K

全部评论(0)

暂无评论

上传资源 上传优质资源有赏金

  • 打赏
  • 30日榜单

推荐下载