- 1
- 2
- 3
- 4
- 5
LoRA低秩适配技术解析
资料介绍
核心定义与提出背景
LoRA（Low-Rank Adaptation，低秩适配）是一种针对大规模预训练大语言模型、计算机视觉模型的高效参数微调技术，于2021年由Edward J. Hu等人在论文《LoRA: Low-Rank Adaptation of Large Language Models》中正式提出。
在LoRA技术出现之前，对大规模预训练模型进行下游任务适配主要有两种思路：一种是全参数微调，即更新预训练模型所有参数，这种方法在模型参数规模达到数十亿甚至上百亿级别后，会产生极高的存储与计算成本，单张消费级GPU根本无法完成训练；另一种是仅微调模型顶层的部分参数，或者添加少量额外任务相关层进行训练，这种方法虽然降低了计算成本，但往往会因为可训练参数太少，导致模型性能不如全参数微调，还会增加模型推理阶段的延迟。
LoRA的提出正是为了解决这一矛盾：它在不改变预训练模型原有参数的前提下，只对模型注意力层中注入低秩分解的小矩阵进行训练，最终只需要存储远小于原模型参数规模的适配参数，就能达到接近全参数微调的性能，同时不会额外增加推理延迟。
核心原理：低秩分解与权重更新
LoRA技术的核心思想基于一个关键假设：大语言模型在适配下游任务时，权重更新的过程天然具有较低的内在秩，可以用低秩矩阵来近似模拟全参数微调的权重更新效果。
假设预训练模型某一层的原始权重矩阵为
，全参数微调时，权重的更新量为，最终更新后的权重为。LoRA不对原始权重做任何更新，而是用两个低秩矩阵的乘积来近似：
部分文件列表
| 文件名 | 大小 |
| LoRA低秩适配技术解析.docx | 16K |
最新上传
- 打赏
- 30日榜单
-
21ic小能手 打赏5.00元 2天前
-
21ic小能手 打赏5.00元 2天前
-
21ic小能手 打赏5.00元 2天前
-
21ic小能手 打赏5.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：gsy幸运
-
21ic下载 打赏320.00元 3天前
用户：jh03551
-
21ic下载 打赏320.00元 3天前
用户：jh0355
-
21ic下载 打赏210.00元 3天前
用户：zhengdai
-
21ic下载 打赏210.00元 3天前
用户：江岚
-
21ic下载 打赏210.00元 3天前
用户：潇潇江南
-
21ic下载 打赏60.00元 3天前
用户：小猫做电路
-
21ic下载 打赏60.00元 3天前
用户：烟雨
-
21ic下载 打赏60.00元 3天前
用户：mulanhk
-
21ic下载 打赏60.00元 3天前
用户：w993263495
-
21ic下载 打赏20.00元 3天前
用户：w178191520
-
21ic下载 打赏20.00元 3天前
用户：liqiang9090
-
21ic下载 打赏20.00元 3天前
用户：kk1957135547
-
21ic下载 打赏20.00元 3天前
用户：sun2152
-
21ic下载 打赏20.00元 3天前
用户：w1966891335
-
21ic下载 打赏15.00元 3天前
用户：xuzhen1
-
21ic下载 打赏15.00元 3天前
用户：x15580286248
-
21ic下载 打赏10.00元 3天前
用户：wjr111
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：STM32密码锁仿真
-
x1707 打赏1.00元 3天前
-
lanmukk 打赏60.00元 3天前
-
lanmukk 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：江岚
-
21ic下载 打赏310.00元 3天前
用户：mulanhk
-
21ic下载 打赏310.00元 3天前
用户：潇潇江南
-
21ic下载 打赏210.00元 3天前
用户：小猫做电路
-
21ic下载 打赏210.00元 3天前
用户：gsy幸运
-
21ic下载 打赏210.00元 3天前
用户：zhengdai
-
21ic下载 打赏140.00元 3天前
用户：jh0355
-
21ic下载 打赏130.00元 3天前
用户：jh03551
-
21ic下载 打赏60.00元 3天前
用户：lanmukk
-
21ic下载 打赏60.00元 3天前
用户：kkkopj
-
21ic下载 打赏70.00元 3天前
用户：cooldog123pp
-
21ic下载 打赏20.00元 3天前
用户：烟雨
全部评论(0)