基于Vercel和Next.js的RAG系统开发实战：从零搭建检索增强生成应用

1次阅读

没有评论

共计 3300 个字符，预计需要花费 9 分钟才能阅读完成。

RAG（Retrieval-Augmented Generation）系统结合了信息检索和文本生成的能力，通过两个核心组件工作：

检索模块：将用户查询转换为向量，从知识库中找出最相关的文档片段
生成模块：将检索结果作为上下文，指导 LLM 生成准确回答

传统纯生成模型常出现事实性错误，而 RAG 通过实时检索确保回答基于最新、最相关的信息。典型工作流程如下：

用户输入查询
查询文本被编码为向量
向量数据库返回相似度最高的文档块
检索结果和原始查询拼接后送入 LLM
生成最终响应

Next.js 优势：
内置 API 路由简化后端开发
支持 SSR/ISR 适合动态内容
完善的 TypeScript 支持
Vercel 优势：
无缝 Next.js 部署体验
自动 SSL 和 CDN 加速
边缘函数降低延迟

对比其他方案：

方案	部署复杂度	冷启动时间	扩展性
Vercel	低	200-500ms	自动
AWS Lambda	中	1-3s	需配置
传统服务器	高	0ms	手动

安装必要依赖：

npm install @pinecone-database/pinecone

初始化客户端：

import {PineconeClient} from '@pinecone-database/pinecone';

const pinecone = new PineconeClient();
await pinecone.init({
  environment: 'us-west1-gcp',
  apiKey: process.env.PINECONE_API_KEY!
});

const index = pinecone.Index('knowledge-base');

使用 OpenAI 的 embedding 接口：

async function getEmbedding(text: string) {
  const response = await openai.createEmbedding({
    model: 'text-embedding-ada-002',
    input: text
  });
  return response.data.data[0].embedding;
}

async function retrieve(query: string, topK = 3) {const queryEmbedding = await getEmbedding(query);
  const results = await index.query({
    queryRequest: {
      vector: queryEmbedding,
      topK,
      includeMetadata: true
    }
  });
  return results.matches?.map(match => ({
    text: match.metadata?.text,
    score: match.score
  })) || [];}

async function generateAnswer(query: string, context: string[]) {const prompt = ` 根据以下信息回答问题：\n${context.join('\n')}\n\n 问题：${query}`;

  const completion = await openai.createCompletion({
    model: 'gpt-3.5-turbo',
    prompt,
    max_tokens: 500,
    temperature: 0.7
  });

  return completion.data.choices[0].text.trim();}

vercel.json关键配置：

{
  "routes": [
    {
      "src": "/api/.*",
      "dest": "/api",
      "methods": ["GET", "POST"]
    }
  ],
  "functions": {
    "api/*.ts": {
      "memory": 1024,
      "maxDuration": 30
    }
  }
}

分块策略优化：
文本按语义段落分块
理想块大小 300-500token

混合搜索：

index.query({
  hybrid: true,
  alpha: 0.5 // 0= 纯向量 1= 纯关键词
})

提示工程：

请根据以下准确信息用中文回答，若信息不足请明确说明：[上下文]
问题：[用户问题]

温度参数：
事实查询：0.3-0.5
创意生成：0.7-1.0

使用 Vercel 的 edge-config 缓存常用查询
实现预热脚本：
```
curl https://api.your-app.com/warmup
```

// middleware.ts
export default async function handler(req: NextRequest) {
  const ip = req.ip;
  const limiter = new RateLimiter({
    tokensPerInterval: 10,
    interval: 'minute'
  });

  if (!await limiter.check(ip)) {return new Response('Rate limit exceeded', { status: 429});
  }
  // ... 正常处理
}

function sanitize(input: string) {
  return input
    .replace(/<script.*?>.*?<\/script>/gis, '')
    .replace(/[<>\{\}]/g, '');
}

try {return await generateAnswer(query, context);
} catch (error) {if (error instanceof OpenAI.APIError) {
    // 重试逻辑
    await new Promise(resolve => setTimeout(resolve, 1000));
    return await generateAnswer(query, context);
  }
  throw error;
}

核心 API 路由 (pages/api/query.ts)：

import {NextApiRequest, NextApiResponse} from 'next';
import {retrieve} from '../../lib/retriever';
import {generateAnswer} from '../../lib/generator';

export default async function handler(
  req: NextApiRequest,
  res: NextApiResponse
) {if (req.method !== 'POST') {return res.status(405).json({error: 'Method not allowed'});
  }

  const {query} = req.body;
  if (!query) {return res.status(400).json({error: 'Query is required'});
  }

  try {
    // 检索阶段
    const contexts = await retrieve(query);

    // 生成阶段
    const answer = await generateAnswer(
      query,
      contexts.map(c => c.text)
    );

    res.status(200).json({answer, contexts});
  } catch (error) {console.error('RAG error:', error);
    res.status(500).json({ 
      error: 'Internal server error',
      details: error.message 
    });
  }
}