共计 1976 个字符，预计需要花费 5 分钟才能阅读完成。

真实场景下的 AI 服务代理痛点

去年我们上线了一个客服 AI 系统，在流量增长到 500QPS 时开始出现各种典型问题：

• 长尾延迟：95 线响应时间突然从 200ms 飙升到 2s
• 鉴权瓶颈：JWT 验证消耗了 15% 的 CPU 资源
• 协议转换开销：JSON/Protobuf 转换导致内存频繁分配

最严重的一次故障，由于上游服务抖动，我们的 Nginx 反向代理堆积了上万请求，最终触发 OOM 崩溃。这正是我们决定自研 Relay Service 的转折点。

架构选型：为何选择 Go 语言

对比 Nginx 方案，自建 Relay Service 的优势在于：

1. 细粒度控制：可以定制熔断策略（circuit breaker）和降级逻辑
2. 协议优化：支持二进制协议透传，减少序列化开销
3. 资源复用：连接池（connection pool）可以跨请求共享

Go 语言特别适合这种 IO 密集型场景，原因在于：

• 轻量级 goroutine 处理高并发
• 原生支持 TCP 连接池（net/http/httputil）
• 出色的 pprof 性能分析工具链

核心架构实现

请求编排示例

// 带错误处理和超时控制的请求转发
func relayRequest(w http.ResponseWriter, r *http.Request) {
    // 1. 鉴权预处理
    if err := validateToken(r.Header.Get("Authorization")); err != nil {metrics.Inc("auth_failure") 
        w.WriteHeader(401)
        return
    }

    // 2. 设置上游超时（重要!）ctx, cancel := context.WithTimeout(r.Context(), 2*time.Second)
    defer cancel()

    // 3. 从连接池获取客户端
    client := pool.Get().(*http.Client)
    defer pool.Put(client)

    // 4. 请求复制与转发
    req := r.Clone(ctx)
    resp, err := client.Do(req)
    if err != nil {if errors.Is(err, context.DeadlineExceeded) {metrics.Inc("timeout")
        }
        return
    }

    // 5. 响应拷贝（省略错误处理）io.Copy(w, resp.Body)
}

连接池关键实现

var pool = sync.Pool{New: func() interface{} {
        return &http.Client{
            Transport: &http.Transport{
                MaxIdleConns:        100,
                MaxIdleConnsPerHost: 10,
                IdleConnTimeout:     90 * time.Second,
            },
            Timeout: 5 * time.Second,
        }
    },
}

// 健康检查 goroutine
func startHealthCheck() {ticker := time.NewTicker(1 * time.Minute)
    for range ticker.C {checkBackendStatus() // 实现 TCP 探活 + 业务接口检查
    }
}

限流算法实践

令牌桶（token bucket）实现要点：

1. 使用 golang.org/x/time/rate 标准库
2. 区分普通请求和 VIP 请求的桶
3. 动态调整速率（根据上游负载）

// 初始化限流器（每秒 100 令牌，突发 50）limiter := rate.NewLimiter(100, 50)

// 中间件应用
if !limiter.Allow() {w.WriteHeader(429)
    return
}

性能优化实战

批处理效果对比

内存泄漏检测

使用 pprof 的典型流程：

1. 导入_ "net/http/pprof"
2. 访问/debug/pprof/heap?debug=1
3. 分析go tool pprof -alloc_objects http://service/debug/pprof/heap

关键指标要看 inuse_objects 和alloc_space的变化趋势。

生产环境避坑指南

请求幂等性

• 为每个请求生成唯一 request_id
• 重试时携带相同 id
• 服务端实现 POST /retry/:request_id 接口

灰度发布策略

1. 按 UserID 哈希分桶（10% 流量）
2. 对比新老版本错误率
3. 关键指标：
4. 成功率差异 <0.5%
5. P99 延迟差异 <15%

监控指标规范

必须包含的四类指标：

1. 流量特征：QPS、payload 大小
2. 服务质量：成功率、延迟分布
3. 系统资源：CPU/MEM/GC 次数
4. 业务指标：鉴权失败数、限流触发次数

开放性问题

当上游 AI 模型更新时，如何平衡：

• 新模型可能需要更多计算资源
• 旧模型的请求不能被中断
• A/ B 测试的流量分配策略

我们的临时方案是双集群热备，但更优雅的解决方案仍在探索中。