| 失效链接处理 |
|
LoRA pd?PDF 下蝲
相关截图Q?/strong>
 主要内容Q?/strong>
一?/strong>LoRA?/strong>
1.1 什么是 LoRAQ?/strong>
• 介绍Q通过低秩分解来模拟参数的改变量，从而以极小的参数量来实现大模型的间接训l?/span>
1.2 LoRA 的思\是什么？
1. 在原模型旁边增加一个旁路，通过低秩分解Q先降维再升l_(d)(j)来模拟参数的更新量；
2. 训练Ӟ原模型固定，只训l降l矩?/span>A和升l矩?/span>BQ?/span>
3. 推理Ӟ可将BA加到原参CQ不引入额外的推理gq；
4. 初始化，A采用高斯分布初始化，B初始化ؓ(f)?/span>0Q保证训l开始时旁\?/span>0矩阵Q?/span>
5. 可插拔式的切换Q务，当前dW0+B1A1Q将lora部分减掉Q换?/span>B2A2Q即可实CQ务切换；
1.3 LoRA 的特Ҏ(gu)什么？
• ?/span>BA加到W上可以消除推理gq；
• 可以通过可插拔的形式切换C同的dQ?/span>
• 设计的比较好Q简单且效果好；
1.4 单描qC?/strong> LoRA?
LoRA的实现思想很简单，是ȝ一个预训练模型的矩阵参敎ͼq择?/span>A?/span>B矩阵来替代，在下怓Q务时只更
?/span>A?/span>B?/span>
|
| Java1234官方?5Q?/td> | 
|
| Java1234官方?5Q?/td> | 838462530 |
苏公|安?32061202001004?/p>
