深入解析Agent上下文学习：从原理到工程实践

1次阅读

共计 1747 个字符，预计需要花费 5 分钟才能阅读完成。

在客服系统和游戏 NPC 场景中，Agent 的上下文理解能力直接影响用户体验。典型问题包括：

短期记忆丢失 ：用户询问 ” 昨天的订单 ” 后追问 ” 物流状态 ”，传统系统无法关联上下文
长期记忆断裂 ：游戏 NPC 忘记玩家已完成关键任务，重复触发相同对话
多轮对话混乱 ：当用户连续提问 ” 推荐手机→预算 5000→要拍照好的 ” 时，系统丢失中间状态

规则模板方案 ：
优点：确定性高，开发周期短
缺点：需预定义所有对话路径，维护成本随场景复杂度指数增长
机器学习方案 ：
RNN/LSTM：擅长序列建模但存在梯度消失问题
Transformer：通过 Self-Attention 机制捕获长程依赖，典型如 BERT 的 512token 上下文窗口

显式记忆槽 ：结构化存储预定字段（如订单号、日期）
隐式向量存储 ：将对话历史编码为稠密向量，通过相似度检索关联信息

from transformers import BertTokenizer, BertModel
import torch

# 初始化模型
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertModel.from_pretrained('bert-base-chinese')

class DialogueContextEncoder:
    def __init__(self, max_history=5):
        self.history = []
        self.max_history = max_history

    def add_utterance(self, text):
        """管理对话历史缓存"""
        self.history.append(text)
        if len(self.history) > self.max_history:
            self.history.pop(0)

    def encode_context(self):
        """生成上下文向量表示"""
        text = "[SEP]".join(self.history)
        inputs = tokenizer(text, return_tensors="pt", 
                         truncation=True, max_length=512)
        with torch.no_grad():
            outputs = model(**inputs)
        return outputs.last_hidden_state.mean(dim=1)  # 池化操作

def create_attention_mask(turn_lengths):
    """
    构建跨轮次注意力掩码
    turn_lengths: 各轮次的 token 数量列表
    """
    total_len = sum(turn_lengths)
    mask = torch.zeros(total_len, total_len)

    # 允许当前轮次关注所有历史
    start = 0
    for length in turn_lengths:
        mask[start:start+length, :start+length] = 1
        start += length
    return mask