BERT与卷积网络深度对比：从原理到应用场景解析

1次阅读

共计 1602 个字符，预计需要花费 5 分钟才能阅读完成。

刚接触 NLP 时，我曾误将 BERT 的注意力权重图当成卷积核的特征图。另一个常见误解是：认为 CNN 的滑动窗口和 Transformer 的注意力头都是 ” 局部特征提取器 ”，但实际上它们的计算逻辑有本质差异。

CNN 卷积操作：

y[i,j] = Σ(W[m,n] * x[i+m, j+n]) + b  # 局部加权求和

BERT 多头注意力：

Attention(Q,K,V) = softmax(QK^T/√d)V  # 全局相关性建模

CNN 通过堆叠层数扩大感受野，是 渐进式 的
BERT 单层即可获得 全局视野，但计算复杂度随序列长度平方增长

CNN 依赖 池化层 压缩位置信息

BERT 使用 正弦位置编码：

# 位置编码示例
position = torch.arange(0, max_len).unsqueeze(1)
div_term = torch.exp(torch.arange(0, d_model, 2) * -(math.log(10000.0) / d_model))
pe[:, 0::2] = torch.sin(position * div_term)  # 偶数维
pe[:, 1::2] = torch.cos(position * div_term)  # 奇数维

import torch.nn as nn

class CNNLayer(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv = nn.Conv1d(in_channels=768, out_channels=768, kernel_size=3, padding=1)

    def forward(self, x):  # x shape: [batch, seq_len, hidden_dim]
        x = x.transpose(1, 2)  # 转换为卷积需要的维度
        return self.conv(x).transpose(1, 2)

class SelfAttention(nn.Module):
    def __init__(self, hidden_size=768, num_heads=12):
        super().__init__()
        self.query = nn.Linear(hidden_size, hidden_size)
        self.key = nn.Linear(hidden_size, hidden_size)
        self.value = nn.Linear(hidden_size, hidden_size)

    def forward(self, x):
        Q = self.query(x)
        K = self.key(x)
        V = self.value(x)
        attention = torch.softmax(Q @ K.transpose(-2,-1) / math.sqrt(Q.size(-1)), dim=-1)
        return attention @ V

在 IMDb 影评分类任务中：