零基础实战：从数据准备到模型部署的全流程AI开发指南

1次阅读

没有评论

共计 2629 个字符，预计需要花费 7 分钟才能阅读完成。

最近有朋友问我：” 想做个识别电商评论情绪的 AI，但连从哪开始都不知道 ”。这让我意识到，传统 AI 开发至少有三大拦路虎：

数据清洗黑洞：真实数据常包含缺失值、乱码和无关信息。比如手机评论里混入 ” 价格*“ 的屏蔽词，手动处理动辄几小时
框架选择困难症：Scikit-learn 简单但功能有限，TensorFlow 强大却配置复杂，PyTorch 动态性好但对新手不友好
部署噩梦：好不容易训好的模型，要集成到网站时发现需要 CUDA 版本匹配、内存爆炸等问题

举个例子，做电商评论情感分析时：
1. 原始数据可能是 CSV 文件，包含用户 ID、评论文本、星级评分
2. 需要将 ” 还不错 ” 这类模糊评价转化为数值标签
3. 部署后要承受每秒上百次的 API 调用

经过多个项目验证，我推荐这套组合：

训练阶段：Scikit-learn + pandas
优势：API 统一（fit/predict 走天下）、内置经典算法、文档丰富
适合：结构化数据、CPU 环境、快速验证想法
部署阶段：Flask + ONNX Runtime
原因：ONNX 模型比原生 sklearn 模型小 70%（实测 200MB→60MB）
性能：单核 CPU 下推理速度 <10ms/ 次

对比实验（情感分析任务）：
| 框架 | 训练时间 | 模型大小 | 推理延迟 |
|————-|———|———|———|
| Scikit-learn| 2min | 82MB | 8ms |
| TensorFlow | 15min | 310MB | 23ms |
| PyTorch | 12min | 290MB | 19ms |

import pandas as pd
from sklearn.model_selection import train_test_split

# 关键技巧：设置 quoting= 3 忽略特殊符号
data = pd.read_csv('reviews.csv', quoting=3)  

# 处理缺失值：删除空评论
clean_data = data.dropna(subset=['comment_text'])  

# 二分类标签：4- 5 星为正面，其余负面
clean_data['label'] = (clean_data['star_rating'] >= 4).astype(int)

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LogisticRegression

tfidf = TfidfVectorizer(max_features=5000, stop_words='english')
model = LogisticRegression(max_iter=1000)

# 管道机制：自动串联多个步骤
pipeline = Pipeline([('vectorizer', tfidf),
    ('classifier', model)
])

X_train, X_test, y_train, y_test = train_test_split(clean_data['comment_text'], 
    clean_data['label'],
    test_size=0.2
)

pipeline.fit(X_train, y_train)

from sklearn.metrics import classification_report
print(classification_report(y_test, pipeline.predict(X_test)))

输出示例（关键指标）：

              precision    recall  f1-score   support

           0       0.87      0.82      0.84      3941
           1       0.91      0.93      0.92      8059

    accuracy                           0.89     12000

类别编码 ：用pd.Categorical 替代字符串

data['user_type'] = pd.Categorical(data['user_type']).codes

稀疏矩阵：TF-IDF 默认返回 sparse 矩阵
```
# 在 Pipeline 中无需额外设置
```

量化压缩：保存为 ONNX 格式

from skl2onnx import convert_sklearn
onnx_model = convert_sklearn(pipeline, 'text_model')

from flask import Flask, request
import onnxruntime as rt

app = Flask(__name__)
sess = rt.InferenceSession("model.onnx")

@app.route('/predict', methods=['POST'])
def predict():
    text = request.json['text']
    # ONNX 输入需为二维数组
    inputs = {'input': [[text]]}  
    return {'sentiment': sess.run(None, inputs)[0][0]}

典型症状：验证集准确率比训练集高 5% 以上
解决方法：在 Pipeline 之前做train_test_split

可视化工具：学习曲线比对

from sklearn.model_selection import learning_curve
import matplotlib.pyplot as plt

train_sizes, train_scores, test_scores = learning_curve(pipeline, X_train, y_train, cv=5)
plt.plot(train_sizes, test_scores.mean(axis=1))

完成基础版本后，可以尝试：