AI人工智能软件教程：从零构建高可用机器学习服务架构

1次阅读

共计 2705 个字符，预计需要花费 7 分钟才能阅读完成。

去年双十一期间，我们为某电商客户开发的推荐系统遭遇了典型的生产事故。当流量突增 300% 时，单体架构的 Python Flask 服务出现：

请求堆积导致响应时间从 200ms 飙升到 15 秒
内存泄漏引发 OOM Killer 随机终止进程
紧急扩容时需要手动复制服务器，新节点加载 2GB 模型耗时长达 8 分钟

更棘手的是，当团队尝试修复模型 bug 时：

必须停服部署新版本
客户端出现大量 ”model not found” 报错
A/ B 测试需要维护两套独立环境

特性	TensorFlow Serving	TorchServe
多模型支持	✅ 动态加载	❌ 需重启
版本热切换	🔄 原子操作	⚠️ 有状态迁移
协议支持	gRPC/REST	REST 为主
监控指标	内置 Prometheus	需自定义

选择 K8s 的核心考量：

原生支持 GPU 资源调度
Horizontal Pod Autoscaler 实现毫秒级扩缩容
Service Mesh 集成流量管理

# 基于官方镜像优化（行号仅为示例）FROM tensorflow/serving:2.8.0-gpu

# 1. 模型预加载加速启动
COPY models/ /models/
RUN echo 'model_config_list: {' > /models/models.config && \
    echo 'config: {' >> /models/models.config && \
    echo 'name:"ctr_model",' >> /models/models.config && \
    echo 'base_path:"/models/ctr",' >> /models/models.config

# 2. 时区与语言环境
ENV TZ=Asia/Shanghai \
    LANG=C.UTF-8

# 3. 健康检查探针
HEALTHCHECK --interval=5s \
            --timeout=3s \
            CMD curl -f http://localhost:8501/v1/models/ctr_model || exit 1

# deployment-gpu.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: tf-serving-gpu
spec:
  replicas: 2
  selector:
    matchLabels:
      app: tf-serving
  template:
    metadata:
      labels:
        app: tf-serving
    spec:
      containers:
      - name: serving
        image: registry.example.com/tf-serving:1.2.0
        resources:
          limits:
            nvidia.com/gpu: 1 # 独占 GPU 卡
            memory: "8Gi"
          requests:
            memory: "4Gi"
        ports:
        - containerPort: 8500 # gRPC
        - containerPort: 8501 # HTTP
---
# hpa.yaml
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: tf-serving-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: tf-serving-gpu
  minReplicas: 2
  maxReplicas: 10
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 70
  - type: External
    external:
      metric:
        name: grpc_requests_per_second
        selector:
          matchLabels:
            app: tf-serving
      target:
        type: AverageValue
        averageValue: 500

上传新版本到共享存储（如 S3）

通过 API 触发 TF Serving 重新加载：

curl -X POST http://serving:8501/v1/models/ctr_model/versions/2:load

使用 Istio 进行流量切换：

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: model-routing
spec:
  hosts:
  - "models.example.com"
  http:
  - route:
    - destination:
        host: tf-serving
        subset: v2
      weight: 10 # 灰度比例

通过 K8s Device Plugin 实现：

# 查看节点 GPU 分配情况
kubectl describe node gpu-node-1 | grep -A 10 "Allocated resources"

# 使用时间片共享（需安装 GPU 共享组件）annotations:
  tencent.com/vcuda-core: "30" # 30% 算力
  tencent.com/vcuda-memory: "2Gi"

Prometheus 配置示例：

scrape_configs:
  - job_name: 'tf-serving'
    metrics_path: '/monitoring/prometheus/metrics'
    static_configs:
      - targets: ['tf-serving:8501']
    relabel_configs:
      - source_labels: [__meta_kubernetes_pod_label_app]
        regex: tf-serving
        action: keep

关键监控项：