1CNN 防止过拟合与保留局部特征的实战指南：从原理到调参

1次阅读

共计 1479 个字符，预计需要花费 4 分钟才能阅读完成。

当 CNN 模型在训练集上表现优异但测试集准确率停滞时，通常出现了过拟合。具体表现为：训练损失持续下降而验证损失突然上升（参考 [ICLR 2020]）。业务层面会导致模型在线服务时对噪声敏感，例如医疗影像中误将伪影识别为病灶。

传统 CNN 的参数量计算公式为：
$$Params = K_h \times K_w \times C_{in} \times C_{out}$$
而 1CNN 通过单通道设计（$C_{in}=1$）可将参数量降低为：
$$Params_{1CNN} = K_h \times K_w \times C_{out}$$
实验显示在 CIFAR-10 上，1CNN 仅用 ResNet18 12% 的参数量达到 85% 准确率（参考 [NeurIPS 2021]）。

经验法则：

浅层设置 0.1-0.3（保留低级特征）

深层设置 0.5-0.7（防止高级特征耦合）

self.dropout = nn.Dropout2d(p=0.3)  # 根据层深度调整

相比标准 3 ×3 卷积：

减少 33% 参数
更专注水平特征（适合文本 / 道路检测）
可通过堆叠实现感受野扩展

将图像分块后随机打乱顺序：

划分 4 ×4 网格
保留 50% 原位置块
其余块随机排列

import torch
import torch.nn as nn

class SingleChannelCNN(nn.Module):
    def __init__(self, num_classes=10):
        super().__init__()
        self.conv1 = nn.Conv2d(1, 32, kernel_size=(1,3))  # 水平特征提取
        self.bn1 = nn.BatchNorm2d(32)
        self.dropout1 = nn.Dropout2d(0.2)  # 浅层低丢弃率

        self.conv2 = nn.Conv2d(32, 64, kernel_size=(1,3))
        self.bn2 = nn.BatchNorm2d(64)
        self.dropout2 = nn.Dropout2d(0.5)  # 深层高丢弃率

        self.fc = nn.Linear(64*30*30, num_classes)  # 假设输入 32x32

    def forward(self, x):
        x = x.mean(dim=1, keepdim=True)  # RGB 转单通道
        x = self.dropout1(F.relu(self.bn1(self.conv1(x))))
        x = self.dropout2(F.relu(self.bn2(self.conv2(x))))
        return self.fc(x.flatten(1))

# Focal Loss 解决类别不平衡
criterion = FocalLoss(alpha=0.75, gamma=2)  # 难样本权重加倍

说明：实线为 1CNN，虚线为传统 CNN