解决Agent失败：模型上下文窗口过小（8192 tokens）的实战指南

1次阅读

共计 2367 个字符，预计需要花费 6 分钟才能阅读完成。

在使用大型语言模型（LLM）构建 Agent 时，开发者常遇到模型因上下文窗口限制而失败的情况。具体表现为错误提示：agent failed before reply: model context window too small (8192 tokens)。这个问题的核心在于模型的内存限制——大多数 LLM 对单次处理的 token 数量有严格上限（如 8192 tokens），超过此限制会导致处理失败。

上下文窗口限制直接影响 Agent 的以下能力：

处理长文档或复杂对话历史
维持多轮对话的连贯性
执行需要大量背景知识的任务

将长文本分割成符合窗口限制的小块，分别处理后再整合结果。适用于文档摘要、信息提取等场景。

优点：
– 实现简单
– 通用性强

缺点：
– 可能丢失跨块上下文关联
– 需要额外的结果整合逻辑

通过以下方式减少 token 占用：

压缩对话历史（删除无关轮次）
使用更紧凑的 prompt 模板
对输入文本进行预处理（如去除空格、缩写）

优点：
– 保持完整上下文
– 无需修改核心逻辑

缺点：
– 优化空间有限
– 可能影响语义完整性

换用支持更大上下文窗口的模型（如支持 32k tokens 的模型）。

优点：
– 一劳永逸解决问题
– 开发体验最好

缺点：
– 可能需要更高计算资源
– 成本可能增加

def process_large_text(text, model, chunk_size=8000):
    """
    处理超出模型限制的长文本
    :param text: 输入文本
    :param model: 模型调用函数
    :param chunk_size: 单块最大 token 数（保留 buffer）:return: 整合后的结果
    """
    # 简单按句子分割（实际项目可用更智能的分割）sentences = text.split('.')
    current_chunk = []
    current_length = 0
    results = []

    for sent in sentences:
        sent_length = len(sent.split())  # 简易 token 估算
        if current_length + sent_length > chunk_size:
            # 处理当前块
            processed = model(' '.join(current_chunk))
            results.append(processed)
            # 重置块
            current_chunk = []
            current_length = 0

        current_chunk.append(sent)
        current_length += sent_length

    # 处理最后一块
    if current_chunk:
        results.append(model(' '.join(current_chunk)))

    # 合并结果（根据场景可能需要更复杂的逻辑）return ' '.join(results)

def compress_history(conversation_history, max_tokens=8000):
    """
    压缩对话历史以适配窗口限制
    :param conversation_history: 对话历史列表
    :param max_tokens: token 上限
    :return: 压缩后的对话历史
    """
    total_tokens = sum(len(msg.split()) for msg in conversation_history)

    # 如果未超限直接返回
    if total_tokens <= max_tokens:
        return conversation_history

    # 按时间衰减保留最近对话
    compressed = []
    remaining_tokens = max_tokens

    # 逆序处理（优先保留最新消息）for msg in reversed(conversation_history):
        msg_tokens = len(msg.split())
        if msg_tokens <= remaining_tokens:
            compressed.insert(0, msg)  # 保持原始顺序
            remaining_tokens -= msg_tokens
        else:
            # 对必须保留的长消息进行截断
            truncated = ''.join(msg.split()[:remaining_tokens]) +'...'
            compressed.insert(0, truncated)
            break

    return compressed