BGE模型部署与微调实战：从零搭建到生产环境优化

1次阅读

共计 1667 个字符，预计需要花费 5 分钟才能阅读完成。

BGE（Big Generative Engine）这类大模型在实际落地时总会遇到几个头疼的问题。先说部署方面：

显存黑洞 ：动辄几十 GB 的模型权重，普通显卡根本吃不消
推理龟速 ：生成式任务的延迟经常突破业务容忍阈值（比如搜索推荐要求 <200ms）
并发瓶颈 ：传统静态批处理在流量波动时要么浪费资源要么拒绝请求

微调环节也不省心：

数据饥渴 ：全参数微调需要海量标注数据，中小企业根本玩不起
训练成本 ：微调一次 V100 跑三天，电费都比模型贵了
灾难遗忘 ：微调新任务后把原有能力搞丢是家常便饭

方案	优点	缺点	适用场景
ONNX Runtime	跨平台支持好，量化工具成熟	对动态 shape 支持有限	需要快速落地的中小项目
TensorRT	极致性能，支持 FP16/INT8	生态绑定 NVIDIA 硬件	高吞吐生产环境
vLLM	专为 LLM 优化，PagedAttention	主要支持 GPT 类架构	大并发生成任务

LoRA：像给模型加 ” 补丁 ”，只训练低秩矩阵，节省 90% 显存
Adapter：在 Transformer 层插适配模块，适合多任务切换
Prefix Tuning：通过虚拟 token 微调，对生成任务更友好

模型瘦身 ：用 FP16 量化砍掉一半显存

# 转换到 ONNX 格式并量化
from onnxruntime.quantization import quantize_dynamic
quantize_dynamic(
    "bge_fp32.onnx",
    "bge_int8.onnx",
    weight_type=QuantType.QInt8,
)

动态批处理 ：智能合并不同长度请求

# 使用 Text Embedding Inference 的批处理组件
from text_embeddings_server import Batcher
batcher = Batcher(
    max_batch_size=32,
    max_seq_length=512,
    pooling_method="mean"
)

服务化封装 ：FastAPI 暴露 HTTP 接口

@app.post("/embed")
async def embed(texts: List[str]):
    inputs = tokenizer(texts, padding=True, return_tensors="pt")
    with torch.no_grad():
        outputs = model(**inputs)
    return {"embeddings": outputs.last_hidden_state.mean(1).tolist()}

关键配置：

from peft import LoraConfig
lora_config = LoraConfig(
    r=8,  # 秩大小
    target_modules=["query", "value"],  # 只改注意力部分
    lora_alpha=32,
    lora_dropout=0.1
)
model = get_peft_model(model, lora_config)

训练技巧：