大模型上下文窗口不足的实战解决方案：应对 agent failed before reply 错误

1次阅读

共计 1665 个字符，预计需要花费 5 分钟才能阅读完成。

简单来说，上下文窗口就是大语言模型（LLM）能同时处理的文本量上限，比如 GPT-3.5 的 4096 tokens 或 GPT- 4 的 32k tokens。这就像电脑内存——超过限制就会报错。最近在处理长文档时，我就遇到了这个报错：

agent failed before reply: model context window too small (8192 tokens). min

长文档处理 ：比如解析 50 页的 PDF 时，原始文本很容易超限
多轮对话 ：当聊天历史累积到一定长度后
复杂 Agent 系统 ：多个工具调用结果拼接后超出限制

核心思路：用大模型自己来压缩内容

优点：保留核心语义
缺点：增加 API 调用次数

示例方法：
1. 提取关键句子
2. 生成摘要
3. 删除冗余描述

实现步骤：

按 token 数拆分文档
处理每个分块
维护全局记忆

关键点：
– 分块时不要切断句子
– 保留分块间关联信息

如果预算允许：

升级到 gpt-3.5-turbo-16k
使用 GPT-4-32k 版本

成本对比：
– 16k 版本价格是标准版的 2 倍
– 32k 版本是 4 倍

from langchain.text_splitter import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=2000,  # 目标块大小
    chunk_overlap=200,  # 块间重叠
    length_function=len,  # 长度计算函数
)

chunks = text_splitter.split_text(long_document)

import tiktoken

def count_tokens(text: str, model_name: str = "gpt-3.5-turbo") -> int:
    encoding = tiktoken.encoding_for_model(model_name)
    return len(encoding.encode(text))

import openai
from tenacity import retry, stop_after_attempt, wait_exponential

@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10))
def safe_completion(prompt):
    try:
        return openai.ChatCompletion.create(
            model="gpt-3.5-turbo",
            messages=[{"role": "user", "content": prompt}]
        )
    except openai.error.InvalidRequestError as e:
        if "context window" in str(e):
            raise ValueError("Context window exceeded") from e
        raise