基于airi人工智能网页版的高并发架构优化实战

1次阅读

共计 2292 个字符，预计需要花费 6 分钟才能阅读完成。

在 airi 网页版上线初期，当并发请求超过 50QPS 时，系统出现明显性能下降。通过监控系统采集到以下关键数据：

P99 响应时间从 800ms 飙升到 4.2s
GPU 利用率波动剧烈（30%-95% 跳跃）
请求超时率突破 15%（5 秒超时阈值）
显存碎片率高达 40%

在相同 4 核 CPU+RTX3090 环境下测试文本生成任务（平均长度 512tokens）：

模式	最大 QPS	平均延迟	错误率
同步处理	62	1.2s	12%
异步队列	187	680ms	0.3%

# celery_task.py
from celery import Celery
from transformers import pipeline
import torch

app = Celery('ai_tasks', broker='amqp://rabbitmq:5672', 
             backend='rpc://', task_serializer='pickle')

# 模型加载预热
ner_model = pipeline("ner", device=0 if torch.cuda.is_available() else -1,
                    torch_dtype=torch.float16, batch_size=8)

@app.task(bind=True, max_retries=3, soft_time_limit=30)
def process_text(self, input_text):
    try:
        # 显存碎片整理
        if torch.cuda.is_available():
            torch.cuda.empty_cache()

        # 安全校验
        if not isinstance(input_text, str) or len(input_text) > 2048:
            raise ValueError("Invalid input format")

        return ner_model(input_text)
    except Exception as e:
        self.retry(exc=e, countdown=2**self.request.retries)

关键参数说明：
– batch_size=8: 平衡吞吐与延迟
– torch.float16: FP16 推理加速
– soft_time_limit=30: 单任务超时控制

# warmup.py
import time
from trt_utils import build_engine

class ModelWarmer:
    def __init__(self):
        self.engine = build_engine(
            onnx_path="model.onnx",
            precision="fp16",
            max_batch_size=16,
            opt_shapes=[(1,512), (8,512), (16,512)]
        )

    def warmup(self, iterations=100):
        dummy_input = torch.ones((8,512), dtype=torch.int32).cuda()
        for _ in range(iterations):
            self.engine.infer(dummy_input)
            time.sleep(0.1)  # 避免过热

TensorRT 优化要点：
– 动态 shape 支持（最小 / 最优 / 最大 batch）
– 层融合（Layer Fusion）
– 精度校准（FP16/INT8）

# nginx.conf
upstream ai_backend {
    zone backend_zone 64k;
    server 10.0.0.1:8000 weight=5;
    server 10.0.0.2:8000 weight=3;
    server 10.0.0.3:8000 backup;

    # 动态调整算法
    least_conn;

    # 健康检查
    check interval=3000 rise=2 fall=3 timeout=2000;
}

location /api/v1/predict {
    proxy_pass http://ai_backend;
    proxy_next_upstream error timeout http_503;
    proxy_read_timeout 15s;

    # 熔断机制
    proxy_intercept_errors on;
    error_page 502 503 504 = @fallback;
}

指标	优化前	优化后
最大 QPS	72	241
错误率	18%	0.5%
平均 CPU 使用	85%	62%
显存占用波动	±40%	±8%

# 使用 pyflame 采样
pyflame -p `pgrep -f celery` -o profile.txt
flamegraph.pl profile.txt > cpu.svg

# 显存监控脚本
watch -n 1 nvidia-smi --query-gpu=memory.used --format=csv