BERT模型幻觉问题解析：从原理到实践中的应对策略

1次阅读

没有评论

共计 2405 个字符，预计需要花费 7 分钟才能阅读完成。

模型幻觉指语言模型生成与事实不符或逻辑混乱的内容。典型表现包括：

事实性错误：如错误的时间、地点或人物关系
逻辑矛盾：前后语句自相矛盾
过度生成：添加不存在于输入信息的细节

这类问题在开放域生成任务 (如问答、摘要) 中尤为明显。例如当询问 ” 谁发明了电话 ” 时，BERT 可能回答 ” 托马斯·沃森 ” 而非正确的 ” 亚历山大·贝尔 ”。

BERT 的注意力机制（解释：计算不同词之间关联强度的模块）存在两个关键问题：

全局注意力分散：所有 token 参与计算时，重要信号可能被噪声稀释
位置偏见：倾向于给序列开头 / 结尾分配过高权重

实验显示，在 12 层 BERT 中，约有 35% 的注意力头存在 ” 过度关注无关 token” 的现象。

领域不平衡：维基百科数据占比过高导致科技 / 历史类幻觉较少，但医疗 / 金融领域错误率高 3 - 5 倍
时间滞后：训练数据截止 2018 年，无法获知后续事件
标注噪声：约 2% 的 SQuAD 标注答案本身存在事实错误

常用的 beam search（解释：保留多个候选序列的搜索算法）会：

偏好高频但可能错误的短语组合
抑制合理的低频表达
在生成长文本时累积误差

import nlpaug.augmenter.word as naw

# 创建对抗样本生成器
aug = naw.ContextualWordEmbsAug(
    model_path='bert-base-uncased', 
    action="insert",
    device='cuda'  # GPU 加速
)

# 对训练数据注入噪声
def augment_data(texts, labels, noise_ratio=0.3):
    augmented = []
    for text, label in zip(texts, labels):
        if random.random() < noise_ratio:
            aug_text = aug.augment(text)
            augmented.append((aug_text, label))
    return texts + augmented

效果：可使模型鲁棒性提升约 15%，但会降低 1 -2% 的准确率。

PyTorch 实现约束解码的示例：

from transformers import BertForSequenceClassification

class ConstrainedBERT(BertForSequenceClassification):
    def __init__(self, config):
        super().__init__(config)
        # 添加事实约束层
        self.constraint_layer = nn.Linear(config.hidden_size, 1)

    def forward(self, input_ids, facts_mask=None, **kwargs):
        outputs = super().forward(input_ids, **kwargs)

        if facts_mask is not None:
            # 对非事实部分施加惩罚
            constraint_loss = (outputs.logits * (1-facts_mask)).mean()
            outputs.loss += 0.3 * constraint_loss  # 调节系数

        return outputs

适用场景：需要预先构建事实掩码(facts_mask)，适合有结构化知识库的场景。

构建规则 + 统计的混合过滤器：

规则层：
黑名单词过滤（如 ” 绝对确定 ” 等过度肯定短语）
逻辑连接词检查（如 ” 但是 ” 后是否出现矛盾）

统计层：

from sentence_transformers import SentenceTransformer

sim_model = SentenceTransformer('paraphrase-MiniLM-L6-v2')

def hallucination_score(claim, context):
    # 计算声明与上下文的语义相似度
    claim_emb = sim_model.encode(claim)
    ctx_emb = sim_model.encode(context)
    return 1 - cosine_similarity([claim_emb], [ctx_emb])[0][0]

最佳实践：当 score > 0.4 时建议人工审核。

构建幻觉率 (Hallucination Rate, HR) 公式：

$$
HR = \frac{1}{N}\sum_{i=1}^N \frac{\text{错误事实数}_i}{\text{生成 token 数}_i}
$$