深入解析Agent Failed Before Reply: All Models Failed错误及解决方案

1次阅读

没有评论

共计 1602 个字符，预计需要花费 5 分钟才能阅读完成。

AI 代理 (Agent) 是协调多个 AI 模型完成复杂任务的中间层组件。其典型工作流程包含三个阶段：

请求路由：根据任务类型选择最合适的模型
模型调用：向选定的模型服务发送请求并等待响应
结果处理：对模型输出进行后处理或格式化

当出现 ’all models failed’ 错误时，意味着代理在最终响应前，所有候选模型都未能成功返回有效结果。

硬超时：预设的固定等待时间（如 5 秒）到期
软超时：模型响应时间超过业务可接受阈值

显存不足导致推理中断
计算资源争抢引发死锁

并发请求数超过配额
突发流量触发速率限制

服务间网络抖动
DNS 解析失败

import asyncio
from functools import partial

async def call_with_timeout(model_func, timeout, *args):
    try:
        return await asyncio.wait_for(model_func(*args), 
            timeout=timeout
        )
    except asyncio.TimeoutError:
        log.warning(f"Model timeout after {timeout}s")
        raise

采用指数退避算法避免雪崩效应：

初始重试间隔：1 秒
最大重试次数：3 次
退避因子：2 倍

import random
import time

def exponential_backoff(retries):
    base_delay = 1
    max_delay = 10
    delay = min(max_delay, base_delay * (2 ** retries))
    return delay + random.uniform(0, 0.1)

构建模型优先级队列：

主模型：最高准确率但资源消耗大
次选模型：平衡精度与速度
保底模型：轻量级但功能有限

class FaultTolerantAgent:
    def __init__(self, models):
        self.models = models  # 按优先级排序的模型列表

    async def predict(self, input_data, max_retries=3):
        last_error = None

        for model in self.models:
            for attempt in range(max_retries + 1):
                try:
                    result = await call_with_timeout(
                        model.predict,
                        timeout=model.timeout,
                        input_data=input_data
                    )
                    return result
                except Exception as e:
                    last_error = e
                    if attempt < max_retries:
                        delay = exponential_backoff(attempt)
                        await asyncio.sleep(delay)

        raise Exception("All models failed") from last_error