Agent 幻觉问题解析：从原理到实践的避坑指南

1次阅读

没有评论

共计 1586 个字符，预计需要花费 4 分钟才能阅读完成。

Agent 幻觉（Agent Hallucination）是当前基于大模型的智能系统中一个常见问题。简单来说，就是模型在生成回答时，会自信满满地输出一些看似合理但实际上完全错误或虚构的信息。这种现象在问答系统、内容生成等场景中尤为明显。

为什么会出现这种情况呢？主要有三个原因：

模型训练时接触的数据本身就存在噪声和错误
模型过度依赖统计模式而非真实知识
模型倾向于生成流畅、连贯的文本，有时会牺牲准确性

这种幻觉在实际应用中可能带来严重后果。比如在医疗咨询场景中，错误的建议可能危及患者健康；在金融领域，虚假信息可能导致投资决策失误。

目前主要有三种主流的解决方案：

通过精心设计的提示词引导模型行为。例如：

明确要求模型标注不确定的内容
限制回答范围
提供参考文本

优点：实现简单，无需额外训练
缺点：效果不稳定，对提示词设计依赖性强

对模型输出进行二次验证：

事实核查
一致性检查
置信度评估

优点：可以结合多种验证手段
缺点：增加处理时间

使用特定领域数据对模型进行微调：

监督微调
强化学习

优点：效果持久稳定
缺点：需要大量标注数据，计算成本高

下面是一个基于 Python 的置信度检测和输出验证方案：

import openai
import numpy as np
from typing import Tuple

def get_model_response(prompt: str) -> Tuple[str, float]:
    """
    获取模型响应并计算置信度

    参数:
        prompt: 输入提示

    返回:
        tuple(回答文本, 置信度分数)
    """
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=[{"role": "user", "content": prompt}],
        temperature=0.7,
        max_tokens=500
    )

    # 计算 logprobs 的平均值作为置信度
    logprobs = [choice.logprobs for choice in response.choices]
    avg_logprob = np.mean([lp.token_logprobs[0] for lp in logprobs if lp])
    confidence = min(max((avg_logprob + 5) / 10, 0), 1)  # 归一化到 0 -1

    return response.choices[0].message.content, confidence

def validate_response(text: str, confidence: float, threshold=0.7) -> str:
    """
    验证模型响应

    参数:
        text: 模型生成的文本
        confidence: 置信度分数
        threshold: 置信度阈值

    返回:
        经过验证的文本
    """
    if confidence < threshold:
        return "[置信度不足] 我对这个回答不太确定，建议您查阅其他资料验证。"
    return text

不同方案对系统性能的影响：