共计 2128 个字符，预计需要花费 6 分钟才能阅读完成。
背景痛点
在开发 AI 问答系统时，直接使用 ChatGPT API 虽然方便，但存在几个明显的痛点：
- 成本不可控：API 调用按 token 计费，随着使用量的增加，费用会迅速攀升，尤其是对于高频使用的场景。
- 网络延迟：API 调用需要经过网络传输，尤其是在跨国访问时，延迟问题尤为明显，影响用户体验。
- 数据出境风险：部分企业或项目对数据隐私要求较高，API 调用可能导致数据出境，带来合规风险。
技术选型
在选择本地化部署方案时，Ollama 和 FastChat 是两个常见的选择。以下是两者的对比：
| 维度 | Ollama | FastChat |
|---|---|---|
| 模型支持 | 支持 Llama、GPT 等主流模型 | 专注于 Vicuna 等特定模型 |
| 资源占用 | 轻量级，适合中小规模部署 | 资源占用较高，适合大规模 |
| 易用性 | 简单易用，一键部署 | 配置复杂，需较多手动调整 |
综合考虑后，我们选择了 Ollama，因为它更符合我们的需求：轻量级、易用且支持多种模型。
核心实现
使用 Ollama 量化部署 Llama3-8B 模型
-
安装 Ollama：
curl -fsSL https://ollama.com/install.sh | sh -
下载并量化 Llama3-8B 模型：
ollama pull llama3-8b ollama quantize llama3-8b --bits 4 -
启动模型服务：
ollama serve llama3-8b
通过 FastAPI 构建异步推理服务
以下是一个简单的 FastAPI 服务示例，包含 JWT 鉴权和限流中间件：
from fastapi import FastAPI, Depends, HTTPException
from fastapi.security import HTTPBearer, HTTPAuthorizationCredentials
from fastapi.middleware import Middleware
from fastapi.middleware.httpsredirect import HTTPSRedirectMiddleware
from pydantic import BaseModel
import ollama
app = FastAPI()
security = HTTPBearer()
class Query(BaseModel):
text: str
@app.post("/query")
async def query(query: Query, credentials: HTTPAuthorizationCredentials = Depends(security)):
if credentials.credentials != "your_jwt_token":
raise HTTPException(status_code=403, detail="Invalid token")
try:
response = ollama.generate(model="llama3-8b", prompt=query.text)
return {"response": response}
except Exception as e:
raise HTTPException(status_code=500, detail=str(e))Docker Compose 编排
以下是 Docker Compose 配置示例，包含 PostgreSQL 日志存储和 Prometheus 监控：
version: '3'
services:
ollama:
image: ollama/ollama
ports:
- "11434:11434"
volumes:
- ./models:/root/.ollama
postgres:
image: postgres
environment:
POSTGRES_PASSWORD: yourpassword
volumes:
- ./pgdata:/var/lib/postgresql/data
prometheus:
image: prom/prometheus
ports:
- "9090:9090"
volumes:
- ./prometheus.yml:/etc/prometheus/prometheus.yml性能优化
压力测试报告
使用 ab 工具模拟 1000QPS 场景：
ab -n 1000 -c 100 -H "Authorization: Bearer your_jwt_token" -p query.json -T "application/json" http://localhost:8000/query测试环境：AWS g5.2xlarge（GPU: NVIDIA A10G, 24GB 显存）
GPU 显存占用优化
通过 --numa 参数优化显存占用：
ollama serve llama3-8b --numa避坑指南
- 模型文件哈希校验：下载模型文件时，务必校验哈希值，防止下载中断或文件损坏。
- Ollama 默认端口安全：Ollama 默认使用 11434 端口，务必在防火墙中限制访问，避免暴露风险。
- 长文本输入内存泄漏：处理长文本输入时，可能会引发内存泄漏，建议分段处理或限制输入长度。
结尾
通过本地化部署 Ollama，我们成功解决了 ChatGPT API 的三大痛点，显著提升了系统性能和数据安全性。但在实际应用中，如何平衡模型精度与推理速度仍是一个开放问题。欢迎大家在评论区分享你的经验和见解。
正文完
