BERT预训练结果解析：从模型输出到下游任务应用

1次阅读

共计 1676 个字符，预计需要花费 5 分钟才能阅读完成。

BERT（Bidirectional Encoder Representations from Transformers）是一种基于 Transformer 架构的预训练语言模型。它的核心思想是通过大规模无监督文本数据预训练，学习通用的语言表示能力。BERT 预训练的目标是让模型理解语言的上下文关系，从而可以适配各种下游 NLP 任务。

BERT 的预训练过程主要包含两个任务：

Masked Language Model (MLM)：随机遮盖输入文本中的部分词汇，让模型预测被遮盖的词汇
Next Sentence Prediction (NSP)：判断两个句子是否是连续的上下文关系

[CLS]是 BERT 输入序列的第一个特殊 token，它的输出向量通常被用作整个输入序列的聚合表示。

特点：
维度为 768（BERT-base）或 1024（BERT-large）
经过整个 Transformer 层的上下文信息聚合
适用于序列级别的分类任务
适用场景：
文本分类（情感分析、主题分类等）
句子对任务（文本相似度、自然语言推理等）

BERT 为输入序列中的每个 token（包括原始词和子词）都输出一个向量表示。

结构特点：
每个 token 对应一个 768 维向量
包含丰富的上下文信息
对同一个词在不同语境下会生成不同的向量
处理建议：
对于中文等不使用空格分隔的语言，需要注意子词对齐
可以取各词最后一层表示，或各层表示的加权组合

BERT 的每一层都包含多头注意力机制，可以可视化注意力权重来理解模型关注的重点。

可视化示例：
可以观察到不同头关注不同方面的语言关系（语法、语义等）
有助于模型可解释性分析

from transformers import BertTokenizer, BertModel
import torch

# 初始化 tokenizer 和模型
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

# 输入文本预处理
text = "This is a BERT tutorial."
inputs = tokenizer(text, return_tensors="pt")

# 前向传播，获取模型输出
with torch.no_grad():
    outputs = model(**inputs)

# 提取不同输出
last_hidden_states = outputs.last_hidden_state  # 词级别输出 [1, seq_len, 768]
pooler_output = outputs.pooler_output  # [CLS]分类向量 [1, 768]
attentions = outputs.attentions  # 各层的注意力权重