BERT词嵌入入门实战：从原理到文本分类应用

共计 2771 个字符，预计需要花费 7 分钟才能阅读完成。

传统词向量与 BERT 的本质区别

刚开始接触 NLP 时，我们都用过 Word2Vec 或 GloVe 这类静态词向量。它们就像是个固定的字典：每个词对应一个预定义好的向量，无论上下文如何变化，” 银行 ” 这个词的向量始终不变。这会导致明显的歧义问题——金融银行和河岸银行被强行合并成同一个表示。

而 BERT 带来的动态词嵌入就像给每个词装上了智能变色镜片：

传统方法：["银行"] => [0.2, -0.3, 0.5] (固定不变)

BERT 方式：["存入银行"] => [0.1, -0.2, 0.6] 
["河岸银行"] => [0.3, -0.4, 0.1] (随上下文变化)

三分钟上手 BERT 词向量

1. 安装与环境准备

首先确保安装最新版 transformers 库：

pip install transformers torch

2. 基础特征提取

我们以中文文本为例，演示如何获取词级和句级表示：

from transformers import BertTokenizer, BertModel
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertModel.from_pretrained('bert-base-chinese')

text = "深度学习改变自然语言处理"
inputs = tokenizer(text, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)

# 词级别嵌入 (12 层 Transformer 输出的平均值)
word_embeddings = outputs.last_hidden_state  # [1, seq_len, 768]

# 句级别嵌入 ([CLS]标记)
sentence_embedding = outputs.pooler_output  # [1, 768]

3. 处理变长文本的要点

实际场景中文本长度不一，需要特别注意：

1. 总是显式传递 attention_mask：

   inputs = tokenizer(["文本 1", "超长文本 2"], 
                     padding=True, 
                     truncation=True, 
                     max_length=512,
                     return_tensors="pt")

2. 平均池化时排除 padding 部分：

   # 计算实际 token 数量（排除[PAD]）actual_lengths = inputs.attention_mask.sum(dim=1)  # [batch_size]
   
   # 均值池化
   mean_pooled = (word_embeddings * inputs.attention_mask.unsqueeze(-1)).sum(1) / actual_lengths.unsqueeze(-1)

文本分类实战

数据准备

构建一个简单的新闻分类 Dataset：

from torch.utils.data import Dataset

class NewsDataset(Dataset):
    def __init__(self, texts, labels, tokenizer, max_len):
        self.texts = texts
        self.labels = labels
        self.tokenizer = tokenizer
        self.max_len = max_len

    def __len__(self):
        return len(self.texts)

    def __getitem__(self, idx):
        text = str(self.texts[idx])
        label = self.labels[idx]

        encoding = self.tokenizer.encode_plus(
            text,
            add_special_tokens=True,
            max_length=self.max_len,
            padding='max_length',
            truncation=True,
            return_attention_mask=True,
            return_tensors='pt'
        )

        return {'input_ids': encoding['input_ids'].flatten(),
            'attention_mask': encoding['attention_mask'].flatten(),
            'label': torch.tensor(label, dtype=torch.long)
        }

模型定义

使用 BERT 作为特征提取器：

import torch.nn as nn

class BertTextClassifier(nn.Module):
    def __init__(self, n_classes):
        super().__init__()
        self.bert = BertModel.from_pretrained('bert-base-chinese')
        self.dropout = nn.Dropout(0.1)
        self.classifier = nn.Linear(768, n_classes)

    def forward(self, input_ids, attention_mask):
        with torch.no_grad():
            outputs = self.bert(
                input_ids=input_ids,
                attention_mask=attention_mask
            )

        # 使用 [CLS] 标记作为分类特征
        pooled_output = outputs.pooler_output
        output = self.dropout(pooled_output)
        return self.classifier(output)

性能优化技巧

池化策略对比

我们在 IMDB 数据集上测试不同方法：

FP16 加速

现代 GPU 支持半精度计算：

model = model.half()  # 转换权重为 FP16
inputs = {k: v.half() for k,v in inputs.items()}

避坑指南

1. 中英文混合处理：
2. 中文 BERT 会自动按字切分
3. 英文子词可能被拆解（”word” → “wor” + “##d”）

4. 解决方案：统一使用中文 tokenizer 处理

5. 微调 vs 特征提取：

6. 小数据量：建议冻结 BERT 参数（如本文示例）
7. 大数据量：可微调最后几层 Transformer

拓展思考

1. 深层特征利用：尝试将第 6 /9/12 层的输出加权融合，可能捕获不同粒度的语义信息

2. 新模型对比：

3. BERT 词嵌入在短语级任务表现优异
4. GPT- 3 等大模型更擅长生成长文本连贯表示
5. 轻量化模型（如 DistilBERT）适合实时场景

通过这次实践，我们发现 BERT 词嵌入确实比传统方法更加强大，但也需要更细致的处理。建议初学者先从特征提取模式入手，等熟悉机制后再尝试微调，这样可以循序渐进地掌握这一强大工具。