APISIX与自研多模态大模型集成实战：架构设计与性能优化

1次阅读

没有评论

共计 1335 个字符，预计需要花费 4 分钟才能阅读完成。

在服务多模态大模型时，传统 API 网关面临以下核心问题：

协议支持不足：多数网关对 gRPC/WebSocket 等长连接协议支持有限，难以处理持续性的模型推理会话
文件流处理低效：图片、音频等二进制文件需要完整加载到内存，导致高并发时内存溢出风险
资源调度缺失：无法根据 GPU 利用率动态路由请求，容易造成计算节点负载不均

对比主流网关方案的技术特性：

Kong：插件需重启生效，不适合频繁变更的模型服务
Envoy：配置复杂度高，扩展需要 C ++ 开发
APISIX 3.0+优势：
插件热加载（毫秒级生效）
原生支持 LuaJIT 实现高性能预处理
内置服务发现与负载均衡

实现模型路由插件的关键逻辑（APISIX 3.8.0+）：

local _M = {
    VERSION = "1.0",
    PRIORITY = 1000,
    name = "model-router",
    schema = {...} -- 校验规则
}

function _M.rewrite(conf, ctx)
    -- 提取模型版本
    local model_ver = ctx.var.arg_model or "default"

    -- 动态选择后端
    local nodes = {{host = "gpu-node1", weight = get_gpu_score(1)},
        {host = "gpu-node2", weight = get_gpu_score(2)}
    }

    -- 设置 upstream
    core.log.info("Routing to", nodes[1].host)
    ctx.var.upstream_uri = "/v2/models/" .. model_ver
end

routes:
  - uri: /multimodal/*
    plugins:
      model-router: 
        enable_websocket: true
        max_file_size: 100MB
    upstream:
      service_name: llm-cluster
      type: chash
      key: $arg_session_id

flowchart TD
    A[客户端请求] --> B{协议判断}
    B -->|HTTP| C[参数校验]
    B -->|WebSocket| D[会话保持]
    C --> E[Prompt 预处理]
    D --> E
    E --> F[GPU 节点选择]
    F --> G[返回流式响应]

压测环境配置：
– 8 核 CPU/32GB 内存
– 3 节点 NVIDIA A10G 集群

测试结果：