深入解析BERT输入表示：词嵌入、位置嵌入与句段嵌入的相加机制

1次阅读

共计 2464 个字符，预计需要花费 7 分钟才能阅读完成。

BERT（Bidirectional Encoder Representations from Transformers）是一种基于 Transformer 架构的预训练语言模型，它在自然语言处理（NLP）任务中表现出色。BERT 的输入表示是其核心之一，通过将词嵌入（token embeddings）、位置嵌入（position embeddings）和句段嵌入（segment embeddings）相加，形成最终的输入表示。这种设计使得 BERT 能够同时捕捉词汇的语义、位置信息以及句子之间的关系。

词嵌入负责将输入的词汇转换为连续的向量表示。BERT 使用 WordPiece 分词器将文本拆分成子词（subword）单元，然后通过查找嵌入表（embedding table）将每个子词转换为对应的向量。

作用：捕获词汇的语义信息。
实现方式：通常是一个可训练的嵌入矩阵，维度为(vocab_size, hidden_size)。

位置嵌入用于表示词汇在序列中的位置信息。由于 Transformer 本身不具备处理序列顺序的能力，位置嵌入通过为每个位置分配一个唯一的向量，帮助模型理解词汇的顺序关系。

作用：捕获词汇在序列中的位置信息。
实现方式：通常是一个可训练的嵌入矩阵，维度为(max_position_embeddings, hidden_size)。

句段嵌入用于区分输入中的不同句子（例如，句子 A 和句子 B）。这在处理问答或文本对任务时尤为重要。

作用：区分不同句子或文本段。
实现方式：通常是一个可训练的嵌入矩阵，维度为(num_segments, hidden_size)。

以下是一个完整的 PyTorch 实现示例，展示了如何将三种嵌入相加形成 BERT 的输入表示：

import torch
import torch.nn as nn

class BERTEmbeddings(nn.Module):
    def __init__(self, vocab_size, hidden_size, max_position_embeddings, num_segments):
        super(BERTEmbeddings, self).__init__()
        self.token_embeddings = nn.Embedding(vocab_size, hidden_size)
        self.position_embeddings = nn.Embedding(max_position_embeddings, hidden_size)
        self.segment_embeddings = nn.Embedding(num_segments, hidden_size)
        self.layer_norm = nn.LayerNorm(hidden_size)
        self.dropout = nn.Dropout(0.1)

    def forward(self, input_ids, segment_ids):
        # 获取序列长度
        seq_length = input_ids.size(1)
        position_ids = torch.arange(seq_length, dtype=torch.long, device=input_ids.device)
        position_ids = position_ids.unsqueeze(0).expand_as(input_ids)

        # 获取三种嵌入
        token_embeds = self.token_embeddings(input_ids)
        position_embeds = self.position_embeddings(position_ids)
        segment_embeds = self.segment_embeddings(segment_ids)

        # 相加并归一化
        embeddings = token_embeds + position_embeds + segment_embeds
        embeddings = self.layer_norm(embeddings)
        embeddings = self.dropout(embeddings)
        return embeddings