云原生AI推理平台实战：基于MLOps构建A股预测模型的调度系统

1次阅读

没有评论

共计 3165 个字符，预计需要花费 8 分钟才能阅读完成。

在金融领域，特别是 A 股市场预测场景中，传统模型部署方式常遇到以下问题：

批量推理延迟高 ：传统批量处理方式无法满足实时性要求，导致策略执行滞后
资源利用率低 ：GPU 资源常出现空闲与争抢并存的矛盾现象
模型迭代困难 ：缺乏标准化流程，模型更新需要人工介入
监控体系缺失 ：难以追踪模型性能衰减和异常预测

我们对比了主流 MLOps 平台的特性后，选择了以下技术栈：

编排层 ：Kubernetes 1.25（包含 Vertical Pod Autoscaler 特性）
模型服务 ：Seldon Core 1.14（支持多框架模型部署）
工作流引擎 ：Argo Workflows 3.4（声明式流水线定义）
监控系统 ：Prometheus+Grafana（指标采集与可视化）

架构示意图如下（以 Mermaid 语法描述）：

graph TD
    A[数据源] --> B[特征工程]
    B --> C[模型训练]
    C --> D[模型仓库]
    D --> E[Seldon 部署]
    E --> F[自动扩缩容]
    F --> G[API 网关]
    G --> H[交易系统]
    H --> I[监控告警]

创建自定义的 ModelDeployment 资源：

apiVersion: ml.company.com/v1
kind: ModelDeployment
metadata:
  name: stock-predictor-v1
spec:
  modelUri: s3://models/stock/latest
  replicas: 2
  resources:
    limits:
      nvidia.com/gpu: 1
  autoscale:
    minReplicas: 1
    maxReplicas: 5
    targetGPUUtilization: 70%

Argo Workflow 定义示例：

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: stock-model-pipeline-
spec:
  entrypoint: main
  templates:
  - name: main
    steps:
    - - name: data-prep
        template: python-data-prep
    - - name: train-model
        template: xgboost-train
    - - name: deploy
        template: seldon-deploy

  - name: python-data-prep
    container:
      image: python:3.9
      command: [python, /scripts/preprocess.py]
      volumeMounts:
      - name: data
        mountPath: /data

使用 Python SDK 进行资源请求的代码示例：

from kubernetes import client, config

def deploy_with_gpu(model_name, gpu_type="nvidia.com/gpu", gpu_count=1):
    config.load_kube_config()
    api = client.CustomObjectsApi()

    body = {
        "apiVersion": "ml.company.com/v1",
        "kind": "ModelDeployment",
        "metadata": {"name": model_name},
        "spec": {
            "resources": {"limits": {gpu_type: gpu_count}
            }
        }
    }

    api.create_namespaced_custom_object(
        group="ml.company.com",
        version="v1",
        namespace="default",
        plural="modeldeployments",
        body=body
    )

采用蓝绿部署策略时，需要特别注意：

保持两个版本的模型同时在线
通过流量分流进行 A / B 测试
旧版本模型保留至少 3 个历史版本

基于 GPU 利用率的 HPA 配置示例：

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: stock-model-hpa
spec:
  scaleTargetRef:
    apiVersion: ml.company.com/v1
    kind: ModelDeployment
    name: stock-predictor
  minReplicas: 1
  maxReplicas: 10
  metrics:
  - type: Resource
    resource:
      name: nvidia.com/gpu
      target:
        type: Utilization
        averageUtilization: 70

必须实现的检查点：

数据传输加密（TLS 1.3）
内存中数据及时清理
审计日志包含完整操作轨迹

预热脚本 ：在 Pod 启动时预加载模型

# warmup.py
import pickle
model = pickle.load(open("/model/stock.pkl", "rb"))
# 使用典型输入进行预热
sample_input = {...}
model.predict(sample_input)

保持最小实例数 ：即使无流量也保持 1 个副本

必须包含的核心指标：

模型预测延迟（P99 < 200ms）
GPU 利用率（最佳区间 40-80%）
请求成功率（>99.9%）

审计日志必须包含：

模型版本变更记录
数据访问日志
操作人员信息
变更审批流水号

安装 Minikube（需要 Kubernetes 1.25+）

minikube start --kubernetes-version=v1.25.0 --driver=docker

部署 Seldon Core

kubectl create namespace seldon-system
helm install seldon-core seldon-core-operator \
    --repo https://storage.googleapis.com/seldon-charts \
    --set usageMetrics.enabled=true \
    --namespace seldon-system

部署示例模型

kubectl apply -f - <<EOF
apiVersion: machinelearning.seldon.io/v1
kind: SeldonDeployment
metadata:
  name: stock-model
spec:
  predictors:
  - componentSpecs:
    - spec:
        containers:
        - name: model
          image: seldonio/mlflowserver:1.14.0-dev
          env:
          - name: PREDICTIVE_UNIT_PARAMETERS
            value: '[{\"name\":\"model_uri\",\"value\":\"gs://seldon-models/mlflow/iris\"}]'
    graph:
      name: model
    replicas: 1
EOF

这套方案已经在某头部券商的生产环境稳定运行 6 个月，支撑日均百万级预测请求。2025 年我们计划进一步优化：