BERT模型与自注意力机制：从原理到实战的深度解析

1次阅读

共计 2351 个字符，预计需要花费 6 分钟才能阅读完成。

自注意力机制（Self-Attention）是 Transformer 架构的核心组件，也是 BERT 模型能够实现双向上下文理解的关键。它的核心思想是让序列中的每个元素（如单词）都能直接关注到序列中的所有其他元素，从而动态地计算它们之间的相关性权重。

在 BERT 中，自注意力机制的作用主要体现在：
– 允许模型同时考虑输入序列中所有位置的信息，而不仅仅是局部或单向的上下文。
– 通过多头注意力（Multi-Head Attention）机制，模型可以并行学习多种不同的关注模式。
– 相比传统的 RNN/CNN 结构，自注意力机制更擅长捕捉长距离依赖关系。

传统注意力机制（如 Seq2Seq 中的注意力）通常用于解码器端对编码器输出的关注，而自注意力机制则是在编码器内部让输入序列自我关注。主要区别包括：

计算对象：传统注意力关注的是源序列和目标序列之间的关系，而自注意力关注的是同一序列内部的关系。
并行性：自注意力可以完全并行计算所有位置的关系，而 RNN-based 注意力必须顺序处理。
信息传递：自注意力允许任意两个位置直接交互，无论距离多远，而传统 RNN 需要逐步传递信息。

下面是使用 PyTorch 实现的一个简化版自注意力层：

import torch
import torch.nn as nn
import math

class SelfAttention(nn.Module):
    def __init__(self, embed_size, heads):
        super(SelfAttention, self).__init__()
        self.embed_size = embed_size
        self.heads = heads
        self.head_dim = embed_size // heads

        assert (self.head_dim * heads == embed_size), "Embed size needs to be divisible by heads"

        self.values = nn.Linear(self.head_dim, self.head_dim, bias=False)
        self.keys = nn.Linear(self.head_dim, self.head_dim, bias=False)
        self.queries = nn.Linear(self.head_dim, self.head_dim, bias=False)
        self.fc_out = nn.Linear(heads * self.head_dim, embed_size)

    def forward(self, values, keys, query, mask):
        # 获取 batch size
        N = query.shape[0]

        # 拆分多头
        value_len, key_len, query_len = values.shape[1], keys.shape[1], query.shape[1]

        # 拆分 embedding 维度到多头
        values = values.reshape(N, value_len, self.heads, self.head_dim)
        keys = keys.reshape(N, key_len, self.heads, self.head_dim)
        queries = query.reshape(N, query_len, self.heads, self.head_dim)

        # 计算注意力分数
        energy = torch.einsum("nqhd,nkhd->nhqk", [queries, keys])

        if mask is not None:
            energy = energy.masked_fill(mask == 0, float("-1e20"))

        # 应用 softmax
        attention = torch.softmax(energy / (self.embed_size ** (1/2)), dim=3)

        # 计算输出
        out = torch.einsum("nhql,nlhd->nqhd", [attention, values]).reshape(N, query_len, self.heads * self.head_dim)

        out = self.fc_out(out)
        return out

在使用 BERT 模型进行训练时，常见问题及解决方法包括：