推荐星级:
  • 1
  • 2
  • 3
  • 4
  • 5

面向存算一体芯片的模拟计算阵列中动态精度调整与自适应计算技术.docx

资料介绍

面向存算一体芯片的模拟计算阵列中动态精度调整与自适应计算技术

——从固定精度到自适应精度的存算一体芯片计算优化

引言

AI推理中,不同层和不同输入对计算精度的需求不同。固定精度计算在满足最坏情况要求时,导致大量不必要的精度开销。动态精度调整技术根据输入数据的特性和层的精度需求,动态调整计算精度,在精度和效率之间取得平衡。自适应计算技术根据芯片的运行状态,动态调整计算参数,优化计算性能。本文系统分析面向存算一体芯片的模拟计算阵列中动态精度调整与自适应计算技术。

精度需求分析

层精度需求

神经网络中不同层的精度需求:

1. 注意力层:对精度敏感,需要INT8FP16精度,精度损失超过1%可能导致推理精度显著下降。

2. 卷积层:对精度中等敏感,INT8精度即可满足要求,精度损失小于0.5%

3. 全连接层:对精度不敏感,INT4精度即可满足要求,精度损失小于0.5%

输入精度需求

不同输入数据对精度的需求:

1. 高分辨率输入:高分辨率图像需要更高的精度,INT8精度即可满足要求。

2. 低分辨率输入:低分辨率图像可以使用较低的精度,INT4精度即可满足要求。

3. 噪声输入:噪声输入对精度的需求较低,可以使用较低的精度。


部分文件列表

文件名 大小
面向存算一体芯片的模拟计算阵列中动态精度调整与自适应计算技术.docx 39K

全部评论(0)

暂无评论

上传资源 上传优质资源有赏金

  • 打赏
  • 30日榜单

推荐下载