深入浅出Transformer：从Attention机制到Token处理的完整解析

1次阅读

共计 1590 个字符，预计需要花费 4 分钟才能阅读完成。

Transformer 模型是 2017 年由 Google 提出的革命性架构，最初用于机器翻译任务。它的核心创新在于完全依赖注意力机制（Attention Mechanism）来处理序列数据，摒弃了传统 RNN 和 CNN 的循环或卷积结构。这种设计使得 Transformer 在处理长距离依赖关系时表现更优，同时具备更高的并行计算效率。

主要应用场景 ：
机器翻译（如 Google Translate）
文本摘要生成
问答系统
代码自动补全（如 GitHub Copilot）
语音识别

Attention 机制的核心思想是让模型能够 ” 动态关注 ” 输入序列的不同部分。想象你在阅读一段文字时，会自然地聚焦于当前最相关的词语，Attention 机制就是模拟这种人类认知方式。

数学基础 ：
Query(Q): 当前关注的点
Key(K): 所有可能被关注的点
Value(V): 每个 Key 对应的实际内容
计算过程：Attention(Q,K,V) = softmax(QK^T/√d_k)V
多头注意力 (Multi-Head Attention)：
将 Q、K、V 分成多组（通常 8 组）
每组独立计算注意力
最后拼接所有结果
优势：可以同时关注不同位置的不同特征

Token 是 Transformer 处理文本的基本单位，可以理解为单词或子词。处理流程如下：

Tokenization：
将原始文本分割为 token 序列
常用方法：WordPiece、BPE 等
Embedding：
每个 token 映射为固定维度的向量
包含词义和位置信息
上下文窗口 ：
Transformer 的 ” 记忆 ” 范围
典型大小：512 或 1024 个 token
超过窗口长度的输入会被截断

以下是一个使用 PyTorch 实现的简化版 Transformer 代码示例：

import torch
import torch.nn as nn
from torch.nn import Transformer

# 超参数设置
d_model = 512  # 嵌入维度
nhead = 8     # 注意力头数
num_layers = 6 # Transformer 层数

# 构建 Transformer 模型
model = Transformer(
    d_model=d_model,
    nhead=nhead,
    num_encoder_layers=num_layers,
    num_decoder_layers=num_layers,
    dim_feedforward=2048,
    dropout=0.1
)

# 示例输入
# src: 源序列 (序列长度, batch_size, d_model)
# tgt: 目标序列
src = torch.rand(10, 32, d_model)  # 10 个 token，batch size=32

tgt = torch.rand(20, 32, d_model)  # 20 个 token

# 前向传播
output = model(src, tgt)
print(output.shape)  # torch.Size([20, 32, 512])