基于Vercel和Next.js构建RAG系统的实战指南：从技术选型到生产部署

1次阅读

没有评论

共计 2876 个字符，预计需要花费 8 分钟才能阅读完成。

传统 RAG（检索增强生成）系统在处理大规模数据时常常面临几个核心问题：

实时性不足：传统架构如 Flask+Docker 需要处理服务器维护、负载均衡等问题，响应延迟较高
扩展性受限：当用户量激增时，垂直扩展需要手动调整服务器配置
部署复杂：从开发到生产需要配置 CI/CD、SSL 证书、反向代理等基础设施

Vercel+Next.js 方案优势：

自动全球 CDN 分发，边缘计算降低延迟
Serverless 架构按需扩展，无需管理服务器
内置 CI/CD 和 HTTPS，部署只需git push

传统方案对比：

chart TD
    A[需求场景] -->| 高实时性 | B(Vercel+Next.js)
    A -->| 复杂业务逻辑 | C(Flask+Docker)
    B --> D[自动扩展]
    C --> E[手动运维]

创建 pages/api/retrieve.js 处理检索请求：

// 配置向量数据库连接
const pinecone = new PineconeClient();
await pinecone.init({
  environment: 'us-east1-gcp',
  apiKey: process.env.PINECONE_KEY
});

export default async function handler(req, res) {
  // 1. 解析用户 query
  const {query, topK=3} = req.body;

  // 2. 获取嵌入向量
  const embedder = new OpenAIEmbeddings();
  const queryEmbedding = await embedder.embedQuery(query);

  // 3. 向量数据库检索
  const index = pinecone.Index('knowledge-base');
  const results = await index.query({
    vector: queryEmbedding,
    topK,
    includeMetadata: true
  });

  // 4. 构造 LLM 提示词
  const context = results.matches.map(m => m.metadata.text).join('\n');
  const prompt = ` 基于以下上下文：\n${context}\n\n 问题：${query}`;

  // 5. 调用生成模型
  const llm = new OpenAI({temperature: 0.7});
  const generation = await llm.call(prompt);

  res.status(200).json({answer: generation});
}

Pinecone 最佳实践：

使用命名空间 (namespace) 区分不同知识库
批量插入时启用并行处理
元数据 (metadata) 采用轻量级 JSON 结构

// 批量插入示例
const chunks = [/* 文本分块数组 */];
const vectors = await Promise.all(chunks.map(async (chunk) => ({id: uuidv4(),
    values: await embedder.embedQuery(chunk.text),
    metadata: { 
      text: chunk.text,
      source: chunk.url 
    }
  }))
);

await index.upsert({
  vectors,
  namespace: 'product-docs'
});

处理 LLM 长时任务：

// 使用 Vercel Edge Functions 处理流式响应
export const config = {runtime: 'edge'};

export default async function (req) {const encoder = new TextEncoder();
  const stream = new TransformStream();
  const writer = stream.writable.getWriter();

  // 启动异步生成
  llm.call(prompt, {
    stream: true,
    callback: async (token) => {await writer.write(encoder.encode(token));
    }
  }).then(() => writer.close());

  return new Response(stream.readable);
}

使用 vercel.json 配置预启动

{
  "functions": {
    "api/retrieve.js": {
      "memory": 3008,
      "maxDuration": 30,
      "includeFiles": "embeddings/**"
    }
  }
}

保持活跃连接：

// 初始化时建立持久连接
let cachedPinecone;
async function initPinecone() {if (!cachedPinecone) {cachedPinecone = new PineconeClient();
    await cachedPinecone.init();}
  return cachedPinecone;
}

三级缓存设计：

CDN 缓存：对高频 query 设置Cache-Control: public, max-age=3600
内存缓存：使用 LRU 缓存最近问答对
向量缓存：对相同 query 直接返回缓存向量

import LRU from 'lru-cache';
const cache = new LRU({max: 1000});

async function getEmbedding(query) {const key = `emb:${query}`;
  if (cache.has(key)) return cache.get(key);

  const vector = await embedder.embedQuery(query);
  cache.set(key, vector);
  return vector;
}

集成 Vercel Analytics 监控 API 性能
使用 console.time() 记录关键阶段耗时

console.time('retrieve');
const results = await index.query(...);
console.timeEnd('retrieve'); // retrieve: 342ms

import rateLimit from 'express-rate-limit';

const limiter = rateLimit({
  windowMs: 15 * 60 * 1000,
  max: 100 
});

export default limiter(handler);

当前方案特别适合知识库规模在百万级以下的场景。未来可改进方向：