深入解析Andrej《大语言模型深度探索》的技术精髓与实践指南

1次阅读

没有评论

共计 1918 个字符，预计需要花费 5 分钟才能阅读完成。

大语言模型（LLM）的技术演进可以追溯到 2017 年 Transformer 架构的提出。Andrej 在演讲中特别强调了 Scaling Law 的重要性——模型性能随着参数规模、数据量和计算资源的增加呈现幂律增长。关键公式为：

$$L(N,D) = \left(\frac{N_c}{N}\right)^{\alpha_N} + \left(\frac{D_c}{D}\right)^{\alpha_D} + L_\infty$$

其中 $N$ 是参数量，$D$ 是训练数据量，$\alpha$ 为缩放指数。当模型规模突破临界点（如 GPT- 3 的 175B 参数）时，会出现涌现能力（Emergent Ability），即模型突然获得小规模模型不具备的新能力。

自注意力机制的计算过程可分为三步：

线性投影：将输入 $X \in \mathbb{R}^{n\times d_{model}}$ 转换为 Q /K/ V 矩阵

$$Q = XW_Q, \quad K = XW_K, \quad V = XW_V$$

（图示：输入序列→Q/K/ V 投影过程）

注意力打分：计算缩放点积注意力

$$\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

多头融合：合并 $h$ 个注意力头的输出

$$\text{MultiHead} = \text{Concat}(head_1,…,head_h)W_O$$

# model.py
import torch
import torch.nn as nn

class TransformerBlock(nn.Module):
    def __init__(self, d_model=512, n_heads=8):
        super().__init__()
        self.attention = nn.MultiheadAttention(d_model, n_heads)
        self.norm1 = nn.LayerNorm(d_model)
        self.norm2 = nn.LayerNorm(d_model)
        self.ffn = nn.Sequential(nn.Linear(d_model, 4*d_model),
            nn.GELU(),
            nn.Linear(4*d_model, d_model)
        )

    def forward(self, x, mask=None):
        # x shape: [seq_len, batch, d_model]
        attn_out, _ = self.attention(x, x, x, attn_mask=mask)
        x = x + attn_out  # 残差连接
        x = self.norm1(x)

        ffn_out = self.ffn(x)
        x = x + ffn_out  # 残差连接
        return self.norm2(x)

关键实现细节：
– 使用 nn.MultiheadAttention 内置的 mask 机制支持因果注意力
– 采用 Pre-LN 结构（LayerNorm 在残差连接前）提升训练稳定性
– FFN 层使用 GELU 激活函数和 4 倍隐藏层扩展