- 1
- 2
- 3
- 4
- 5
FlashAttention及变种改进
资料介绍
一、FlashAttention核心设计背景
Transformer模型自提出以来，凭借自注意力机制出色的长序列建模能力，成为自然语言处理、计算机视觉等多个领域的核心架构。但随着模型参数量和输入序列长度不断增长，传统自注意力计算面临严重的内存瓶颈和速度瓶颈：标准的自注意力实现需要存储大小为
（$N$为序列长度）的注意力矩阵，当序列长度达到数万级别时，这部分内存占用会远超GPU的HBM容量，甚至直接导致显存溢出；同时，GPU计算过程中频繁的高延迟HBM读写操作，也会大幅拉低整体计算效率。
为解决上述问题，Tri Dao等人在2022年提出FlashAttention，核心思路是利用GPU的片上SRAM容量远小于HBM但访问延迟低几个数量级的特性，通过分块（tiling）策略将注意力计算切分为多个小模块，把计算所需的小块数据从HBM读取到SRAM中完成计算，最终再拼接结果，大幅减少HBM的读写次数，同时实现了更快的计算速度和更低的内存占用。
二、FlashAttention核心原理
1. 标准自注意力的计算瓶颈
标准自注意力的计算流程可以表示为：给定输入序列的查询矩阵、键矩阵、值矩阵，其中$d$为注意力头维度，输出矩阵$O$的计算公式为：
标准实现中，需要先完整计算，得到的注意力分数矩阵，再计算softmax得到注意力权重矩阵$P$，最后乘以$V$得到输出。整个过程中$S$和$P$两个大小的矩阵都需要存储在HBM中，当时，两个矩阵的存储需求就超过了40GB（单精度浮点数），远超绝大多数消费级和数据中心GPU的显存容量。
同时，GPU计算的吞吐量受限于内存带宽，而非计算能力：标准自注意力计算中，每个元素需要多次从HBM读写，大量时间消耗在内存访问上，无法充分利用GPU的计算能力。
部分文件列表
| 文件名 | 大小 |
| FlashAttention及变种改进.docx | 19K |
最新上传
- 打赏
- 30日榜单
-
21ic下载 打赏310.00元 3天前
用户：江岚
-
21ic下载 打赏310.00元 3天前
用户：mulanhk
-
21ic下载 打赏310.00元 3天前
用户：潇潇江南
-
21ic下载 打赏210.00元 3天前
用户：小猫做电路
-
21ic下载 打赏210.00元 3天前
用户：gsy幸运
-
21ic下载 打赏210.00元 3天前
用户：zhengdai
-
21ic下载 打赏140.00元 3天前
用户：jh0355
-
21ic下载 打赏130.00元 3天前
用户：jh03551
-
21ic下载 打赏60.00元 3天前
用户：lanmukk
-
21ic下载 打赏60.00元 3天前
用户：kkkopj
-
21ic下载 打赏70.00元 3天前
用户：cooldog123pp
-
21ic下载 打赏20.00元 3天前
用户：烟雨
-
21ic下载 打赏20.00元 3天前
用户：xuzhen1
-
21ic下载 打赏20.00元 3天前
用户：sun2152
-
21ic下载 打赏20.00元 3天前
用户：w178191520
-
21ic下载 打赏15.00元 3天前
用户：w1966891335
-
21ic下载 打赏15.00元 3天前
用户：w993263495
-
21ic下载 打赏15.00元 3天前
用户：x15580286248
-
21ic下载 打赏15.00元 3天前
用户：liqiang9090
-
21ic下载 打赏15.00元 3天前
用户：kk1957135547
-
21ic下载 打赏5.00元 3天前
用户：创园船热情
-
21ic下载 打赏5.00元 3天前
用户：ytf4210
-
21ic下载 打赏10.00元 3天前
用户：有理想666
-
13806677280 打赏1.00元 3天前
-
21下载积分 打赏20.00元 3天前
用户：white工
-
Lzhf918@ 打赏10.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：mulanhk
-
21ic下载 打赏310.00元 3天前
用户：lanmukk
-
21ic下载 打赏310.00元 3天前
用户：zhengdai
-
21ic下载 打赏240.00元 3天前
用户：江岚
-
21ic下载 打赏240.00元 3天前
用户：潇潇江南
-
21ic下载 打赏210.00元 3天前
用户：gsy幸运
-
21ic下载 打赏70.00元 3天前
用户：小猫做电路
-
21ic下载 打赏120.00元 3天前
用户：jh0355
-
21ic下载 打赏110.00元 3天前
用户：jh03551
-
21ic下载 打赏70.00元 3天前
用户：liqiang9090
-
21ic下载 打赏45.00元 3天前
用户：有理想666
-
21ic下载 打赏20.00元 3天前
用户：w178191520
-
21ic下载 打赏40.00元 3天前
用户：烟雨
-
21ic下载 打赏20.00元 3天前
用户：eaglexiong
全部评论(0)