2025版李宏毅机器学习卷积神经网络笔记：从理论到实践的全方位解析

1次阅读

没有评论

共计 2088 个字符，预计需要花费 6 分钟才能阅读完成。

卷积神经网络（CNN）是深度学习中用于处理具有网格结构数据（如图像）的神经网络。它通过局部感受野、共享权重和空间或时间上的下采样来保证一定程度的平移、尺度和形变不变性。

局部感受野 ：每个神经元只与输入数据的一个局部区域相连，这大大减少了参数数量。
共享权重 ：同一层的多个神经元共享相同的权重，进一步减少参数。
池化：通过下采样减少数据维度，增强模型的鲁棒性。

传统神经网络（如多层感知机）在处理图像等高维数据时面临参数爆炸的问题。相比之下，CNN 通过以下方式优化：

参数共享 ：卷积核在整个输入上滑动，共享参数。
局部连接 ：每个神经元只连接到输入的一个小区域。
层次化结构 ：通过多层卷积和池化逐步提取高阶特征。

以下是一个使用 PyTorch 实现的简单 CNN 模型，用于图像分类任务：

import torch
import torch.nn as nn
import torch.nn.functional as F

class SimpleCNN(nn.Module):
    def __init__(self):
        super(SimpleCNN, self).__init__()
        # 第一层卷积：输入通道 3（RGB），输出通道 16，卷积核大小 3x3
        self.conv1 = nn.Conv2d(3, 16, 3, padding=1)
        # 第二层卷积：输入通道 16，输出通道 32，卷积核大小 3x3
        self.conv2 = nn.Conv2d(16, 32, 3, padding=1)
        # 最大池化层：窗口大小 2x2
        self.pool = nn.MaxPool2d(2, 2)
        # 全连接层：输入维度 32*8*8，输出维度 10（假设有 10 个类别）self.fc1 = nn.Linear(32 * 8 * 8, 10)

    def forward(self, x):
        # 第一层卷积 + ReLU 激活 + 池化
        x = self.pool(F.relu(self.conv1(x)))
        # 第二层卷积 + ReLU 激活 + 池化
        x = self.pool(F.relu(self.conv2(x)))
        # 展平特征图
        x = x.view(-1, 32 * 8 * 8)
        # 全连接层
        x = self.fc1(x)
        return x

# 实例化模型
model = SimpleCNN()
print(model)

梯度消失通常发生在深层网络中，梯度在反向传播时逐渐变小。解决方案包括：

使用 ReLU 等激活函数替代 Sigmoid 或 Tanh。
引入批量归一化（Batch Normalization）层。
使用残差连接（ResNet）。

过拟合是指模型在训练集上表现良好但在测试集上表现差。解决方法包括：

数据增强：通过旋转、平移、缩放等方式增加训练数据多样性。
正则化：如 L1/L2 正则化、Dropout。
早停（Early Stopping）：在验证集性能不再提升时停止训练。

学习率调整 ：使用学习率调度器（如 ReduceLROnPlateau）动态调整学习率。
批量大小 ：较大的批量可以加速训练，但可能影响模型泛化能力。
模型初始化 ：使用 Xavier 或 Kaiming 初始化方法避免梯度爆炸或消失。
硬件加速 ：利用 GPU 加速训练过程。

以下是一个使用 CNN 进行手写数字识别的案例：

# 加载 MNIST 数据集
train_dataset = torchvision.datasets.MNIST(root='./data', train=True, transform=transforms.ToTensor(), download=True)
train_loader = torch.utils.data.DataLoader(dataset=train_dataset, batch_size=64, shuffle=True)

# 定义模型、损失函数和优化器
model = SimpleCNN()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

# 训练循环
for epoch in range(10):
    for images, labels in train_loader:
        outputs = model(images)
        loss = criterion(outputs, labels)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
    print(f'Epoch [{epoch+1}/10], Loss: {loss.item():.4f}')

CNN 在图像处理、视频分析、自然语言处理等领域表现出色，但也存在一些局限性：