CAE卷积自编码器模型：原理剖析与图像重建实战

1次阅读

共计 2476 个字符，预计需要花费 7 分钟才能阅读完成。

传统自编码器在处理图像数据时，需要将二维矩阵展平为一维向量。对于一张 28×28 的 MNIST 图片：

输入层神经元数量：28×28=784
假设隐藏层 256 个神经元，参数量达 784×256=200,704
当处理 224×224 的彩色图像时，参数量会爆炸到 150,528×256=38,535,168

这种全连接结构不仅计算量大，还忽略了图像的局部空间信息。2014 年 ICLR 会议论文《Stacked Convolutional Auto-Encoders for Hierarchical Feature Extraction》首次提出 CAE 结构，通过卷积核共享权重特性，将参数量减少 90% 以上。

CAE 优势：
保留空间结构：3×3 卷积核处理局部邻域
参数效率：1 个 3 ×3 卷积核仅需 9 个参数
重建质量：MNIST 上 PSNR 可达 28dB
对比实验数据（在 CelebA 数据集上）：
| 模型类型 | 参数量(M) | 重建 PSNR | 训练速度(iter/s) |
|———-|———–|———-|——————|
| FC-AE | 38.5 | 22.1 | 15 |
| CAE | 4.2 | 27.8 | 62 |
| VAE | 5.1 | 25.3 | 48 |
| GAN | 12.7 | 24.9 | 35 |

# 编码器结构（带下采样）class Encoder(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(1, 16, 3, padding=1)  # 28x28 -> 28x28
        self.pool1 = nn.MaxPool2d(2)                 # 28x28 -> 14x14
        self.conv2 = nn.Conv2d(16, 32, 3, padding=1) # 14x14 -> 14x14
        self.pool2 = nn.MaxPool2d(2)                 # 14x14 -> 7x7

    def forward(self, x):
        x = F.relu(self.conv1(x))
        x = self.pool1(x)
        x = F.relu(self.conv2(x))
        return self.pool2(x)

# 解码器结构（上采样）class Decoder(nn.Module):
    def __init__(self):
        super().__init__()
        self.up1 = nn.ConvTranspose2d(32, 16, 2, stride=2) # 7x7 ->14x14
        self.conv1 = nn.Conv2d(16, 16, 3, padding=1)
        self.up2 = nn.ConvTranspose2d(16, 1, 2, stride=2)  #14x14->28x28
        self.conv2 = nn.Conv2d(1, 1, 3, padding=1)

    def forward(self, x):
        x = F.relu(self.up1(x))
        x = F.relu(self.conv1(x))
        x = torch.sigmoid(self.up2(x))  # 输出 [0,1] 范围
        return self.conv2(x)

# 复合损失函数（MSE + KL 散度）def loss_function(recon_x, x, mu=None, logvar=None):
    BCE = F.mse_loss(recon_x, x, reduction='sum')

    # 如果是 VAE 结构才计算 KL 散度
    KLD = 0
    if mu is not None:
        KLD = -0.5 * torch.sum(1 + logvar - mu.pow(2) - logvar.exp())

    return BCE + 0.1*KLD  # 调节系数控制重建精度

# 优化器选择对比实验
adam_optim = torch.optim.Adam(model.parameters(), lr=1e-3)
rmsprop_optim = torch.optim.RMSprop(model.parameters(), lr=5e-4)

GPU 型号	最大 BS(32bit)	最大 BS(16bit)	显存占用比例
RTX 3090	256	512	78%
RTX 2080Ti	128	256	82%
GTX 1080	64	128	91%

from torch.cuda.amp import autocast, GradScaler

scaler = GradScaler()

for epoch in range(EPOCHS):
    for data in train_loader:
        inputs = data.to(device)

        with autocast():
            outputs = model(inputs)
            loss = loss_function(outputs, inputs)

        scaler.scale(loss).backward()
        scaler.step(optimizer)
        scaler.update()