ChatGPT核心原理入门：从零理解大语言模型工作机制

1次阅读

共计 2726 个字符，预计需要花费 7 分钟才能阅读完成。

早期的自然语言处理（NLP, Natural Language Processing）主要依赖规则系统和统计方法。这些方法需要人工设计大量规则或特征，不仅耗时耗力，而且难以覆盖语言的复杂性和多样性。随着深度学习的发展，特别是 Transformer 架构的出现，大语言模型（LLM, Large Language Model）逐渐成为主流。

规则系统的局限性：规则系统需要人工编写语法和语义规则，难以应对语言的灵活性和上下文依赖性。
统计方法的瓶颈：统计方法依赖于大规模标注数据，但标注成本高，且难以捕捉长距离依赖关系。
Transformer 的突破：2017 年，Google 提出了 Transformer 架构，通过自注意力机制（Self-Attention）实现了对长距离依赖的高效建模，为大语言模型的发展奠定了基础。

Transformer 的核心是自注意力机制，它通过 Query、Key 和 Value 矩阵运算来计算单词之间的相关性。

Query/Key/Value 矩阵：
Query（Q）：表示当前单词的查询向量。
Key（K）：表示其他单词的键向量。
Value（V）：表示其他单词的值向量。
注意力得分的计算公式为：Attention(Q, K, V) = softmax(QK^T / sqrt(d_k))V，其中 d_k 是 Key 的维度。
多头注意力：为了捕捉不同子空间的信息，Transformer 使用多个注意力头（Multi-Head Attention），将输入分别映射到不同的子空间进行计算，最后将结果拼接起来。

监督微调（SFT, Supervised Fine-Tuning）：
在预训练完成后，模型会在标注数据上进行微调，以适应特定任务。
例如，ChatGPT 会在对话数据上微调，以生成更符合人类预期的回复。
人类反馈强化学习（RLHF, Reinforcement Learning from Human Feedback）：
RLHF 通过人类对模型输出的评分来进一步优化模型。
具体流程：模型生成多个回复，人类对回复进行排序或评分，然后使用强化学习（如 PPO 算法）调整模型参数。
RLHF 的目标是让模型生成更符合人类价值观的回复。

import torch
import torch.nn as nn
import torch.nn.functional as F

class SingleHeadAttention(nn.Module):
    def __init__(self, embed_size, head_size):
        super().__init__()
        self.query = nn.Linear(embed_size, head_size)
        self.key = nn.Linear(embed_size, head_size)
        self.value = nn.Linear(embed_size, head_size)
        self.register_buffer('tril', torch.tril(torch.ones(1000, 1000)))  # 用于 mask 的三角矩阵

    def forward(self, x, mask=False):
        B, T, C = x.shape  # Batch, Time, Channels
        q = self.query(x)  # (B, T, head_size)
        k = self.key(x)    # (B, T, head_size)
        v = self.value(x)  # (B, T, head_size)

        # 计算注意力得分
        attn_scores = q @ k.transpose(-2, -1) * (k.shape[-1] ** -0.5)
        if mask:
            attn_scores = attn_scores.masked_fill(self.tril[:T, :T] == 0, float('-inf'))
        attn_weights = F.softmax(attn_scores, dim=-1)
        out = attn_weights @ v
        return out

Temperature 参数用于控制生成文本的多样性：

Temperature = 1：默认值，生成结果平衡多样性和一致性。
Temperature > 1：增加多样性，模型更倾向于选择低概率的词。
Temperature < 1：降低多样性，模型更倾向于选择高概率的词。

# 示例：调整 Temperature 参数
def generate_with_temperature(logits, temperature=1.0):
    logits = logits / temperature
    probs = F.softmax(logits, dim=-1)
    return torch.multinomial(probs, num_samples=1)

大语言模型对显存的需求与输入的 token 数量直接相关。例如：