2025版李宏毅机器学习卷积神经网络笔记：从零开始的CNN实战指南

1次阅读

共计 3140 个字符，预计需要花费 8 分钟才能阅读完成。

刚接触卷积神经网络时，我和大多数初学者一样踩过不少坑。这里总结 5 个最典型的困扰：

梯度消失 / 爆炸 ：深层网络在反向传播时，梯度会指数级衰减或增大。记得第一次训练 10 层 CNN 时，loss 值直接变成 NaN
过拟合 ：当模型在训练集准确率达到 95% 而测试集只有 60% 时，才意识到数据增强和正则化的重要性
参数调优迷茫 ：面对学习率、batch size 等超参数，曾盲目尝试过上百种组合
硬件资源不足 ：在消费级 GPU 上跑 ResNet-152，batch size 只能设到 8
模型理解困难 ：最初完全不明白为什么 1 ×1 卷积能降维，直到可视化特征图才恍然大悟

模型	参数量 (M)	Top- 1 准确率	FLOPs(G)	创新点
LeNet-5	0.06	99.2%	0.001	首个 CNN 架构
AlexNet	60	84.7%	1.5	ReLU 激活、Dropout
VGG-16	138	92.7%	15.5	小卷积核堆叠
ResNet-50	25.5	95.3%	4.1	残差连接

（测试环境：ImageNet 数据集，输入尺寸 224×224）

# Python 3.9 + PyTorch 2.0
import torch
import torch.nn as nn
import torch.optim as optim

class ConfigurableCNN(nn.Module):
    def __init__(self, 
                 in_channels=3,
                 kernel_sizes=[3,5,3], 
                 strides=[1,2,1],
                 dropout_rate=0.5):
        super().__init__()
        layers = []

        # 动态构建卷积层
        for i, (k, s) in enumerate(zip(kernel_sizes, strides)):
            out_channels = 64*(2**i)  # 通道数逐层倍增
            layers += [nn.Conv2d(in_channels, out_channels, k, stride=s, padding=k//2),
                nn.BatchNorm2d(out_channels),
                nn.ReLU(),
                nn.MaxPool2d(2, 2),
                nn.Dropout(dropout_rate) if i<len(kernel_sizes)-1 else nn.Identity()]
            in_channels = out_channels

        self.features = nn.Sequential(*layers)
        self.classifier = nn.Linear(out_channels*4*4, 10)  # CIFAR-10 分类

    def forward(self, x):
        x = self.features(x)
        x = x.view(x.size(0), -1)
        return self.classifier(x)

# 使用动态学习率调度
model = ConfigurableCNN()
optimizer = optim.Adam(model.parameters(), lr=0.001)
scheduler = optim.lr_scheduler.ReduceLROnPlateau(optimizer, 'max', patience=3)

在 CIFAR-10 上验证过的增强策略：

transform_train = transforms.Compose([transforms.RandomCrop(32, padding=4),
    transforms.RandomHorizontalFlip(),
    transforms.ColorJitter(brightness=0.2, contrast=0.2),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], 
                         std=[0.229, 0.224, 0.225])
])

使用 Kaiming 初始化应对 ReLU 激活：

$$
W_{i,j} \sim U(-\sqrt{\frac{6}{n_{in}}}, \sqrt{\frac{6}{n_{in}}})
$$

PyTorch 实现：

nn.init.kaiming_uniform_(conv.weight, mode='fan_in', nonlinearity='relu')

class EarlyStopping:
    def __init__(self, patience=5):
        self.patience = patience
        self.counter = 0
        self.best_score = None

    def __call__(self, val_acc):
        if self.best_score is None:
            self.best_score = val_acc
        elif val_acc <= self.best_score:
            self.counter += 1
            if self.counter >= self.patience:
                return True  # 触发停止
        else:
            self.best_score = val_acc
            self.counter = 0
        return False

输入尺寸不一致 ：忘记调整全连接层维度导致 shape 报错
解决方案：全局平均池化替代 Flatten
预训练模型通道数 ：直接加载 RGB 预训练模型处理灰度图
修正：复制灰度通道到 3 通道 input = input.repeat(1,3,1,1)
BatchNorm 统计量 ：微调时错误冻结 running_mean

正确做法：

for module in model.modules():
    if isinstance(module, nn.BatchNorm2d):
        module.track_running_stats = False

学习率策略 ：迁移学习未区分 backbone 和分类头

优化：

optimizer = optim.SGD([{'params': model.backbone.parameters(), 'lr': 0.001},
    {'params': model.fc.parameters(), 'lr': 0.01}
])

内存溢出 ：批量处理高分辨率图像

技巧：使用梯度累积

for i, (inputs, labels) in enumerate(dataloader):
    outputs = model(inputs)
    loss = criterion(outputs, labels)
    loss = loss / 4  # 假设累积 4 次
    loss.backward()

    if (i+1) % 4 == 0:
        optimizer.step()
        optimizer.zero_grad()

在 CIFAR-10 上训练相同 CNN 架构（batch_size=128）：