BERT模型预训练实战：标记嵌入层与位置编码的优化策略

1次阅读

共计 1771 个字符，预计需要花费 5 分钟才能阅读完成。

BERT 模型预训练过程中，标记嵌入层（Token Embedding）和位置编码（Positional Encoding）是两个核心组件。它们的质量直接影响模型对文本的理解能力。但在实际应用中，我们常常遇到以下挑战：

长序列处理困难 ：当处理类似“paris is a beautiful city”和“i love paris”这样的句子时，传统位置编码可能导致信息丢失。
内存占用高 ：标记嵌入层通常占用大量内存，尤其在处理大规模语料时。
训练效率低 ：位置编码的计算方式可能成为训练速度的瓶颈。

传统实现 ：使用全连接层生成嵌入向量，简单但内存消耗大。
优化方案 ：采用分块嵌入（Block Embedding）技术，将词汇表分块处理，显著减少内存占用。

正弦 / 余弦函数 ：原始 BERT 使用正弦和余弦函数生成位置编码，计算复杂度高。
学习式位置编码 ：通过可学习的参数生成位置编码，灵活性更高，但可能过拟合。
改进方案 ：结合正弦 / 余弦函数和学习式编码，平衡计算效率和表达能力。

import torch
import torch.nn as nn

class BlockEmbedding(nn.Module):
    def __init__(self, vocab_size, embed_dim, block_size=10000):
        super(BlockEmbedding, self).__init__()
        self.block_size = block_size
        self.embed_dim = embed_dim
        self.embedding = nn.Embedding(block_size, embed_dim)

    def forward(self, x):
        # 将输入分块处理
        block_ids = x // self.block_size
        local_ids = x % self.block_size
        # 获取嵌入向量
        embeddings = self.embedding(local_ids)
        return embeddings

class HybridPositionalEncoding(nn.Module):
    def __init__(self, d_model, max_len=512):
        super(HybridPositionalEncoding, self).__init__()
        self.d_model = d_model
        self.max_len = max_len
        # 正弦 / 余弦编码
        pe = torch.zeros(max_len, d_model)
        position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1)
        div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model))
        pe[:, 0::2] = torch.sin(position * div_term)
        pe[:, 1::2] = torch.cos(position * div_term)
        self.register_buffer('pe', pe)
        # 可学习编码
        self.learnable_pe = nn.Parameter(torch.randn(max_len, d_model))

    def forward(self, x):
        # 结合两种编码
        pe = self.pe[:x.size(1)] + self.learnable_pe[:x.size(1)]
        return x + pe

我们在相同数据集上对比了优化前后的性能：