从零理解AI中的SOTA与LoRA：原理剖析与实战入门指南

1次阅读

共计 1277 个字符，预计需要花费 4 分钟才能阅读完成。

在 AI 领域，SOTA（State-of-the-Art）模型通常指当前最先进的模型。随着模型规模的增长，传统全参数微调方式面临巨大挑战。以 GPT- 3 为例，其参数量高达 1750 亿，即使只是微调最后一层，也需要消耗大量计算资源。这种资源消耗不仅体现在显存占用上，还包括训练时间和能源成本。

方法	参数量	计算开销	效果
全参数微调	100%	高	最佳
Adapter	约 0.5%-5%	中等	接近全微调
Prefix-tuning	约 0.1%-1%	低	中等
LoRA	约 0.1%-1%	低	接近全微调

LoRA 的核心思想是通过低秩分解来减少可训练参数。数学上表示为：

$$\Delta W = UV^T$$

其中：
– $W \in \mathbb{R}^{d \times k}$ 是原始权重矩阵
– $U \in \mathbb{R}^{d \times r}$, $V \in \mathbb{R}^{k \times r}$ 是可训练的低秩矩阵
– $r \ll min(d,k)$ 是秩(rank)

在 Transformer 架构中，LoRA 通常被注入到注意力层的 query 和 value 投影矩阵中。

import torch
import torch.nn as nn

class LoRALayer(nn.Module):
    def __init__(self, in_dim, out_dim, rank=8):
        super().__init__()
        # 低秩矩阵 A (in_dim x rank)
        self.A = nn.Parameter(torch.randn(in_dim, rank) * 0.02)
        # 低秩矩阵 B (rank x out_dim)
        self.B = nn.Parameter(torch.zeros(rank, out_dim))
        # 原始权重 (冻结)
        self.W = nn.Parameter(torch.zeros(out_dim, in_dim), requires_grad=False)

    def forward(self, x):
        # x.shape: (batch_size, seq_len, in_dim)
        # 原始投影 + 低秩调整
        return x @ (self.W.t() + self.A @ self.B)

在 NVIDIA V100 32GB GPU 上的测试结果：