深入解析BERT编码器：从原理到高效实现

1次阅读

共计 1825 个字符，预计需要花费 5 分钟才能阅读完成。

BERT（Bidirectional Encoder Representations from Transformers）自 2018 年由 Google 提出以来，已成为自然语言处理（NLP）领域的基石模型。它的核心创新在于双向上下文编码能力，彻底改变了传统单向语言模型的局限性。在实际应用中，BERT 编码器被广泛用于：

文本分类（如情感分析、垃圾邮件检测）
问答系统（如搜索引擎中的精准答案提取）
命名实体识别（如从文本中提取人名、地名）
文本相似度计算（如推荐系统中的内容匹配）

BERT 基于 Transformer 的编码器部分，其核心是多层自注意力机制和前馈神经网络的堆叠。与原始 Transformer 不同，BERT 完全舍弃了解码器结构，专注于文本表征的生成。

自注意力机制通过计算词与词之间的关联权重，实现动态上下文建模。具体过程分为三步：

将输入向量分别映射为 Query、Key、Value 矩阵
计算注意力分数：$Attention(Q,K,V)=softmax(\frac{QK^T}{\sqrt{d_k}})V$
通过缩放点积（除以 $\sqrt{d_k}$）防止梯度消失

由于 Transformer 不具备 RNN 的时序处理能力，BERT 通过以下方式注入位置信息：

绝对位置编码：使用正弦 / 余弦函数生成固定位置向量
相对位置编码：在注意力计算时加入可学习的位置偏置项

注意力头剪枝：通过评估各注意力头的重要性，移除冗余头（如 12 层模型可减少到 8 -10 个头）
梯度检查点：在训练时只保存部分层的激活值，用时间换空间

混合精度训练：结合 FP16 和 FP32 减少显存占用
梯度累积：小批量多次前向传播后统一反向传播

分层学习率：底层参数使用较小学习率（如 2e-5），顶层可适当增大（如 5e-5）
渐进解冻：先微调顶层，逐步解冻下层参数

import torch
import torch.nn as nn
from transformers import BertModel

class BertEncoder(nn.Module):
    def __init__(self, pretrained_path):
        super().__init__()
        self.bert = BertModel.from_pretrained(pretrained_path)
        # 冻结底层参数
        for param in self.bert.parameters():
            param.requires_grad = False
        # 解冻最后 3 层
        for layer in self.bert.encoder.layer[-3:]:
            for param in layer.parameters():
                param.requires_grad = True

    def forward(self, input_ids, attention_mask):
        outputs = self.bert(
            input_ids=input_ids,
            attention_mask=attention_mask,
            return_dict=True
        )
        # 获取最后一层隐藏状态
        last_hidden = outputs.last_hidden_state
        # 获取 CLS token 表征
        cls_embedding = last_hidden[:, 0, :]
        return cls_embedding