从零构建AI实战：机器学习与NLP入门避坑指南

1次阅读

共计 2820 个字符，预计需要花费 8 分钟才能阅读完成。

刚接触 AI 时，总会被各种术语搞得晕头转向。别担心，我们先理清几个最基础的概念：

监督学习 vs 无监督学习 ：就像老师批改作业（监督）和自学摸索（无监督）的区别。监督学习需要带标签的数据，比如猫狗分类；无监督学习则让算法自己发现规律，比如客户分群。
RNN 与 Transformer：想象 RNN 是边看边记笔记的学生，适合处理时序数据；Transformer 则是拥有 ” 过目不忘 ” 本领的天才，通过注意力机制（Attention）同时处理所有信息，BERT/GPT 都是它的后代。
词嵌入（Word Embedding）：把单词变成数字向量的魔法。比如通过 Word2Vec，” 国王 ” – “ 男 ” + “ 女 ” ≈ “ 女王 ”，这种语义关系能直接被数学计算捕捉。

这些红坑我当年都栽过跟头，现在给你画好警戒线：

维度灾难 ：特征太多反而让模型迷失方向。比如用 1000 个特征预测学生成绩，可能还不如用年龄 + 学习时间这两个关键特征准确。
过拟合 ：模型把训练数据背得滚瓜烂熟，遇到新题就傻眼。就像考前只死记硬背例题，结果考试题目变个花样就不会了。Loss 曲线会显示训练误差持续下降，但验证误差中途就开始反弹。
数据稀疏 ：比如做商品推荐，用户 - 商品矩阵中 90% 都是零值。这时候可以试试矩阵分解（Matrix Factorization），就像用乐高积木拼出缺失的部分。

# 数据准备
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=42)

# 特征工程：标准化
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)  # 注意用同一套参数

# 模型训练
from sklearn.svm import SVC
model = SVC(kernel='rbf', C=1.0)
model.fit(X_train_scaled, y_train)

# 评估
print(f"测试准确率: {model.score(X_test_scaled, y_test):.2%}")

关键点：
– 数据拆分要早于特征工程，避免信息泄露
– 测试集只能用 transform 不能 fit
– SVM 的 kernel 选择比调参更重要

# 数据加载
from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

texts = ["Apple releases new iPhone", "Stock market reaches all-time high"]
labels = [0, 1]  # 科技 / 财经

# 构建 DataLoader
from torch.utils.data import Dataset, DataLoader

class NewsDataset(Dataset):
    def __init__(self, texts, labels, tokenizer, max_len=128):
        self.encodings = tokenizer(texts, truncation=True, padding=True, max_length=max_len)
        self.labels = labels

    def __getitem__(self, idx):
        return {'input_ids': torch.tensor(self.encodings['input_ids'][idx]),
            'attention_mask': torch.tensor(self.encodings['attention_mask'][idx]),
            'labels': torch.tensor(self.labels[idx])
        }

    def __len__(self):
        return len(self.labels)

dataset = NewsDataset(texts, labels, tokenizer)
dataloader = DataLoader(dataset, batch_size=2, shuffle=True)

# 微调模型
from transformers import BertForSequenceClassification
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

# 训练代码省略...

避坑提示：
– BERT 输入最大长度通常选 512，但短文本用 128 就够了
– attention_mask 告诉模型哪些是真实 token 哪些是 padding
– 小数据时冻结 BERT 底层参数，只训练顶层分类器

当模型要上线时，这些经验能救急：