从零开始：本地部署ChatGPT的完整指南与避坑实践

3次阅读

没有评论

共计 2450 个字符，预计需要花费 7 分钟才能阅读完成。

本地部署大模型最核心的价值有三点：保护数据隐私避免敏感信息外泄、支持业务定制化微调、长期使用成本比 API 调用更低。今天我们就用工程师最喜欢的『开箱即用』方式，手把手实现生产可用的部署方案。

选开源模型就像买车，不能只看马力（参数量），还得考虑油耗（显存占用）。这是我们在 RTX 3090（24GB 显存）上的实测数据：

LLaMA-2-7B：FP16 精度需要 14GB 显存，每秒生成 12 个 token
Alpaca-7B：加载 8bit 量化后显存降至 8GB，生成速度提升到 18token/s
Vicuna-13B：4bit 量化仍需 10GB 显存，但回答质量明显提升

建议新手从 Alpaca-7B 开始，在消费级显卡上就能跑起来。需要更高对话质量时再升级到 Vicuna。

先准备这个 docker-compose.yml，它包含了 CUDA 和必要的 Python 环境：

version: '3.8'
services:
  llm-service:
    image: nvidia/cuda:12.2-base
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    volumes:
      - ./models:/app/models
      - ./api:/app/api
    ports:
      - "8000:8000"

关键配置说明：

使用 NVIDIA 官方 CUDA 镜像确保 GPU 驱动兼容
通过 volumes 挂载模型和代码目录
端口映射 8000 用于后续 API 访问

7B 模型原始 FP16 格式需要 14GB 显存，通过量化可以大幅降低：

# 8bit 量化示例（使用 bitsandbytes 库）from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
    "decapoda-research/llama-7b-hf",
    load_in_8bit=True,  # 关键参数
    device_map='auto'
)

4bit 量化更激进，但可能影响生成质量。实测对比：

8bit：显存占用降至 7.8GB，质量损失 <3%
4bit：显存仅需 4.2GB，但长文本可能逻辑混乱

这是最简可用的 API 代码（保存为 api/main.py）：

from fastapi import FastAPI, HTTPException
from pydantic import BaseModel

app = FastAPI()

class Prompt(BaseModel):
    text: str
    max_length: int = 128

@app.post("/generate")
async def generate(prompt: Prompt):
    try:
        # 实际项目中这里调用模型推理
        output = "这是模拟生成的文本"
        return {"result": output}
    except Exception as e:
        raise HTTPException(status_code=500, detail=str(e))

启动命令：

docker compose build
docker compose up -d

当显存不足时，可以用 LoRA 只训练部分参数：

from peft import LoraConfig, get_peft_model

config = LoraConfig(
    r=8,  # 矩阵秩
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],  # 只改注意力层的部分参数
)
model = get_peft_model(model, config)
# 后续正常训练...

安装 vLLM 后，推理速度能提升 3 - 5 倍：

from vllm import LLM, SamplingParams

llm = LLM(model="/path/to/quantized/model")
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

outputs = llm.generate(["用户输入内容"], sampling_params)

使用 AES 加密权重文件：

from cryptography.fernet import Fernet

# 生成密钥（务必妥善保存）key = Fernet.generate_key()
cipher = Fernet(key)

# 加密模型文件
with open("model.bin", "rb") as f:
    encrypted = cipher.encrypt(f.read())

在 FastAPI 中添加身份验证：

from fastapi.security import HTTPBearer, HTTPAuthorizationCredentials

security = HTTPBearer()

@app.post("/generate")
async def generate(
    prompt: Prompt,
    credentials: HTTPAuthorizationCredentials = Depends(security)
):
    validate_token(credentials.credentials)  # 实现自己的验证逻辑

最后分享我们的运维 checklist：