BERT双向Transformer入门指南：从原理到实践

1次阅读

共计 2374 个字符，预计需要花费 6 分钟才能阅读完成。

BERT（Bidirectional Encoder Representations from Transformers）由 Google 在 2018 年提出，彻底改变了自然语言处理（NLP）的游戏规则。它的核心突破在于首次实现了真正意义上的双向语言建模，在 11 项 NLP 基准任务中全面超越此前的最佳模型。如今，BERT 已成为文本分类、问答系统、命名实体识别等任务的基石模型。

与传统模型的对比
传统 LSTM/GRU 只能从左到右或从右到左单向处理文本
Transformer 的 Self-Attention 原本就是双向的，但早期 GPT 等模型因任务限制只使用单向注意力
BERT 通过 MLM（掩码语言模型）任务，迫使模型同时利用左右上下文预测被掩码的词

注意力机制可视化示例

# 假设输入句子是 "动物 [MASK] 跳过栅栏"
# 传统单向模型只能看到 "动物"-> 预测可能是 "园"（动物园）# BERT 能同时看到 "跳过栅栏"-> 更可能预测 "马"（马跳过栅栏）

多头注意力实战优势
每个注意力头学习不同的语法 / 语义关系
并行计算大幅提升训练效率
典型配置：12 层 Transformer，每层 12 个注意力头

完整可运行的代码示例（需安装 transformers 和 torch 库）：

from transformers import BertTokenizer, BertForSequenceClassification
from torch.utils.data import Dataset, DataLoader
import torch

# 1. 数据准备
class TextDataset(Dataset):
    def __init__(self, texts, labels, tokenizer, max_len):
        self.texts = texts
        self.labels = labels
        self.tokenizer = tokenizer
        self.max_len = max_len

    def __getitem__(self, idx):
        text = str(self.texts[idx])
        encoding = self.tokenizer.encode_plus(
            text,
            add_special_tokens=True,
            max_length=self.max_len,
            padding='max_length',
            truncation=True,
            return_tensors='pt'
        )
        return {'input_ids': encoding['input_ids'].flatten(),
            'attention_mask': encoding['attention_mask'].flatten(),
            'label': torch.tensor(self.labels[idx], dtype=torch.long)
        }

# 2. 模型初始化
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained(
    'bert-base-uncased', 
    num_labels=2  # 二分类任务
)

# 3. 训练循环关键参数
optimizer = torch.optim.AdamW(model.parameters(), lr=2e-5)
criterion = torch.nn.CrossEntropyLoss()

def train_epoch(model, dataloader):
    model.train()
    for batch in dataloader:
        optimizer.zero_grad()
        outputs = model(input_ids=batch['input_ids'],
            attention_mask=batch['attention_mask'],
            labels=batch['label']
        )
        loss = outputs.loss
        loss.backward()
        optimizer.step()