BERT入门实战：从零构建深度双向语言理解模型

1次阅读

共计 2859 个字符，预计需要花费 8 分钟才能阅读完成。

曾遇到过这样的场景吗？智能客服把 ” 我想订明天去北京的机票 ” 理解为 ” 我要修改订单 ”，或是搜索引擎将 ” 苹果手机降价 ” 和 ” 苹果价格下跌 ” 混为一谈。这些问题的根源在于传统 NLP 方法（如 TF-IDF、Word2Vec）只能捕捉表面词汇特征，无法理解深层语义关系。

让我们看两组典型对比：
– Word2Vec 生成的词向量是静态的（static embeddings），” 苹果 ” 在 ” 吃苹果 ” 和 ” 苹果手机 ” 中的向量完全相同
– 基于规则的情感分析模型会把 ” 这部电影差得让人无法不喜欢 ” 错误判断为负面评价

Word2Vec (2013)
通过滑动窗口学习词向量
缺点：无法处理一词多义（polysemy）
ELMo (2018)
使用双向 LSTM 生成动态词向量（contextualized embeddings）
缺点：单向编码器无法同时利用前后文信息
BERT (2018)
核心突破：Transformer 架构 + 双向预训练
关键技术：
- Masked Language Model (MLM)：随机遮盖 15% 的词汇进行预测
- Next Sentence Prediction (NSP)：判断两个句子是否连续

# 推荐使用 conda 创建环境
conda create -n bert_env python=3.8
conda install pytorch torchvision cudatoolkit=11.3 -c pytorch
pip install transformers datasets

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

text = "I love natural language processing!"
inputs = tokenizer(
    text,  
    padding='max_length',  # 填充到最大长度 512
    truncation=True,       # 超长截断
    max_length=64,         # 根据业务数据调整
    return_tensors='pt'    # 返回 PyTorch 张量
)
print(inputs.input_ids.shape)  # 输出：[1, 64]

import torch
from transformers import BertForSequenceClassification

model = BertForSequenceClassification.from_pretrained(
    'bert-base-uncased',
    num_labels=2  # 二分类任务
)

# 优化器设置（学习率 5e- 5 是 BERT 论文推荐值）optimizer = torch.optim.AdamW(model.parameters(),
    lr=5e-5,  # 范围通常 3e- 5 到 5e-5
    eps=1e-8   # 防止除零错误
)

# 训练循环示例
for epoch in range(3):
    model.train()
    for batch in train_loader:
        outputs = model(**batch)
        loss = outputs.loss
        loss.backward()
        optimizer.step()
        optimizer.zero_grad()

from sklearn.metrics import accuracy_score, f1_score

model.eval()
predictions = []
true_labels = []

with torch.no_grad():
    for batch in eval_loader:
        outputs = model(**batch)
        logits = outputs.logits
        preds = torch.argmax(logits, dim=1)
        predictions.extend(preds.cpu().numpy())
        true_labels.extend(batch['labels'].cpu().numpy())

print(f"Accuracy: {accuracy_score(true_labels, predictions):.4f}")
print(f"F1 Score: {f1_score(true_labels, predictions):.4f}")

from torch.cuda.amp import GradScaler, autocast

scaler = GradScaler()

for batch in train_loader:
    with autocast():
        outputs = model(**batch)
        loss = outputs.loss

    scaler.scale(loss).backward()
    scaler.step(optimizer)
    scaler.update()

gradient_accumulation_steps = 4  # 根据 GPU 显存调整

for i, batch in enumerate(train_loader):
    outputs = model(**batch)
    loss = outputs.loss / gradient_accumulation_steps
    loss.backward()

    if (i + 1) % gradient_accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

from nvidia.dali import pipeline_def
import nvidia.dali.fn as fn

@pipeline_def
def text_pipeline():
    text = fn.readers.file(file_root='./data')
    processed = fn.python_function(text, function=lambda x: tokenizer(x.decode()))
    return processed