AI Infra MLOps 入门指南：从零搭建机器学习流水线

1次阅读

共计 2408 个字符，预计需要花费 7 分钟才能阅读完成。

传统机器学习开发就像在实验室做手工陶艺——每个模型都是独立艺术品，但想要量产就会遇到问题：数据版本混乱、训练过程不可复现、部署后性能下降却难以追踪。MLOps（机器学习运维）正是为了解决这些问题而生，它将 DevOps 理念引入 AI 领域，让模型开发像软件工程一样具备标准化流水线。

关键差异对比：

传统 ML：Jupyter Notebook 直接训练 -> 手动导出模型 -> 写 Flask API 包装
MLOps：数据 / 代码 / 模型全版本控制 -> 自动化训练流水线 -> 容器化部署 + 监控埋点

数据是机器学习的地基，我们先解决版本控制问题。DVC（Data Version Control）相当于数据的 Git，这个 Python 工具可以轻松管理大型数据集：

# 安装并初始化 DVC（假设已安装 Git）!pip install dvc
!dvc init

# 添加数据集并创建版本
!dvc add data/raw_dataset  # 自动生成.dvc 文件记录哈希值
!git add data/raw_dataset.dvc .gitignore
!git commit -m "Dataset v1.0"

# 切换数据集版本示例
!git checkout HEAD~1  # 回到上个版本
!dvc checkout  # 同步数据文件

性能技巧：

使用 dvc remote add 配置云存储（如 S3/MinIO），避免大文件本地版本切换慢
通过 .dvcignore 过滤临时文件，类似.gitignore

当数据就绪后，我们需要可重复的训练流程。Kubeflow Pipelines 能把实验代码转化为生产级流水线，这里展示关键组件：

from kfp import dsl

# 定义组件（容器化操作单元）@dsl.component
def preprocess_data(raw_data_path: str, output_path: str):
    """数据清洗组件"""
    import pandas as pd
    df = pd.read_csv(raw_data_path)
    # 实际处理逻辑...
    df.to_csv(output_path, index=False)

# 构建流水线
@dsl.pipeline(name="ml-training")
def my_pipeline(data_path: str):
    preprocess_task = preprocess_data(
        raw_data_path=data_path,
        output_path="/output/clean_data.csv"
    )
    # 可添加更多训练 / 评估组件...

# 编译为 YAML 部署文件
from kfp import compiler
compiler.Compiler().compile(my_pipeline, "pipeline.yaml")

关键配置：

# pipeline.yaml 片段（环境变量管理示例）metadata:
  annotations:
    sidecar.istio.io/inject: "false"
spec:
  containers:
  - env:
    - name: AWS_ACCESS_KEY_ID
      valueFrom:
        secretKeyRef:
          name: s3-secret
          key: accesskey
    - name: MODEL_VERSION
      value: "v1.2-prod"

训练好的模型需要以服务形式提供预测。Seldon Core 支持将模型打包成 Kubernetes 微服务，这是它的典型架构：

[用户请求] -> [Istio Ingress] -> [Seldon AB 测试路由] -> 
  [模型 A 容器 v1.3] 或 [模型 B 容器 v2.1] -> [Prometheus 监控]

部署示例代码：

# 模型包装类（必须实现 predict 方法）class MyModel:
    def __init__(self):
        self.clf = joblib.load("model.pkl")

    def predict(self, X, features_names=None):
        return self.clf.predict_proba(X)

# 生成 Docker 镜像
!seldon-core-microservice MyModel --service-type MODEL

# 部署 YAML 配置片段
apiVersion: machinelearning.seldon.io/v1
kind: SeldonDeployment
metadata:
  name: iris-model
spec:
  predictors:
  - componentSpecs:
    - spec:
        containers:
        - name: model
          image: my-model:1.0
    traffic: 100