BERT预训练语言模型入门指南：从零开始理解与实战

1次阅读

没有评论

共计 1948 个字符，预计需要花费 5 分钟才能阅读完成。

传统 NLP 模型（如 Word2Vec、TF-IDF）存在两个致命缺陷：

上下文无关：同一个词在不同语境下始终返回相同向量（比如 ” 苹果 ” 在水果和科技公司场景无法区分）
单向编码：LSTM 等模型只能从左到右或从右到左学习文本特征，无法同时获取双向上下文信息

BERT 的突破在于：

基于 Transformer 实现真正的双向编码
通过预训练学习通用语言表示
支持通过微调适配多种下游任务（文本分类 / 问答 / 命名实体识别等）

Word2Vec：静态词向量，无法处理一词多义
ELMo：双向 LSTM 拼接，非真正意义上的双向交互
BERT：Transformer Encoder 堆叠，通过 Self-Attention 实现动态词向量

Self-Attention：计算每个词与句中所有词的关系权重
Multi-Head 机制：并行多个 Attention 头捕获不同维度的语义关系
位置编码：通过正弦函数注入位置信息（替代 RNN 的时序处理）

!pip install transformers torch
from transformers import BertTokenizer, BertModel
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

text = "I love natural language processing"
inputs = tokenizer(
    text, 
    return_tensors="pt", 
    padding='max_length', 
    max_length=64, 
    truncation=True
)
# 输出结构：{'input_ids':tensor, 'token_type_ids':tensor, 'attention_mask':tensor}

model = BertModel.from_pretrained('bert-base-uncased')

# 添加下游任务头（以文本分类为例）class BertClassifier(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.bert = model
        self.dropout = torch.nn.Dropout(0.1)
        self.linear = torch.nn.Linear(768, 2)  # 假设二分类

    def forward(self, inputs):
        outputs = self.bert(**inputs)
        pooled = outputs.last_hidden_state[:, 0, :]  # 取 [CLS] 向量
        return self.linear(self.dropout(pooled))

optimizer.zero_grad()
for i, batch in enumerate(dataloader):
    loss = model(batch).loss
    loss.backward()
    if (i+1) % 4 == 0:  # 每 4 个 batch 更新一次
        optimizer.step()
        optimizer.zero_grad()

from torch.cuda.amp import autocast, GradScaler

scaler = GradScaler()
with autocast():
    outputs = model(inputs)
    loss = outputs.loss
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()