0基础人工智能实战：从数据预处理到模型部署的全流程指南

1次阅读

共计 2749 个字符，预计需要花费 7 分钟才能阅读完成。

刚接触 AI 的开发者常遇到三个致命问题：

脏数据陷阱 ：原始数据包含缺失值、异常值，直接训练会导致模型偏差。我曾用未经处理的医疗数据训练，准确率比随机猜测还低 15%
算法选择困难症 ：Scikit-learn 的简单模型跑不动图像数据，TensorFlow 的复杂模型在小数据集上过拟合
部署黑箱 ：本地 Jupyter 运行良好的模型，上线后因内存溢出崩溃，API 响应延迟高达 3 秒

import pandas as pd
import numpy as np

# 1. 缺失值处理三连击
df = pd.read_csv('raw_data.csv')
print(f"缺失值占比：{df.isnull().mean().round(2)}")

# 数值列用中位数填充（比均值抗异常值）num_cols = df.select_dtypes(include=np.number).columns
df[num_cols] = df[num_cols].fillna(df[num_cols].median())

# 类别列用众数填充
cat_cols = df.select_dtypes(include='object').columns
df[cat_cols] = df[cat_cols].fillna(df[cat_cols].mode().iloc[0])

# 2. 异常值检测：IQR 法则
Q1 = df[num_cols].quantile(0.25)
Q3 = df[num_cols].quantile(0.75)
IQR = Q3 - Q1
df = df[~((df[num_cols] < (Q1 - 1.5*IQR)) | (df[num_cols] > (Q3 + 1.5*IQR))).any(axis=1)]

代码对比：房价预测 vs 手写数字识别

# Scikit-learn 线性回归
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

model = LinearRegression()
model.fit(X_train, y_train)
preds = model.predict(X_test)
print(f"MSE: {mean_squared_error(y_test, preds):.2f}")

# TensorFlow CNN 示例
import tensorflow as tf
model = tf.keras.Sequential([tf.keras.layers.Conv2D(32, (3,3), activation='relu', input_shape=(28,28,1)),
    tf.keras.layers.MaxPooling2D((2,2)),
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dense(10, activation='softmax')
])
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])
model.fit(train_images, train_labels, epochs=5)

from flask import Flask, request, jsonify
import joblib

app = Flask(__name__)
model = joblib.load('model.pkl')  # 加载训练好的模型

@app.route('/predict', methods=['POST'])
def predict():
    data = request.get_json()
    features = [data['feature1'], data['feature2']]  # 实际根据模型输入调整
    prediction = model.predict([features])
    return jsonify({'prediction': prediction.tolist()})

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=5000)

严禁在划分训练测试集前做标准化！应该：

from sklearn.model_selection import train_test_split
X_train, X_test = train_test_split(X, test_size=0.2)
scaler = StandardScaler().fit(X_train)  # 只在训练集上拟合
X_train_scaled = scaler.transform(X_train)
X_test_scaled = scaler.transform(X_test)  # 用训练集的参数转换测试集

# TensorFlow 早停回调
es = tf.keras.callbacks.EarlyStopping(
    monitor='val_loss',
    patience=3,  # 连续 3 轮不改善就停止
    restore_best_weights=True  # 回滚到最佳权重
)
model.fit(..., callbacks=[es])  # 加入 fit 参数