从零开始：使用预训练VGG19网络实现风格迁移的实战指南

1次阅读

没有评论

共计 2874 个字符，预计需要花费 8 分钟才能阅读完成。

风格迁移（Style Transfer）是深度学习在计算机视觉领域的一个有趣应用，它能够将一幅图像的风格（如梵高的星空笔触）应用到另一幅图像的内容上。VGG19 作为经典的卷积神经网络，因其良好的特征提取能力常被用作风格迁移的基础网络。

VGG19 的特点在于：

深度为 19 层（16 个卷积层 + 3 个全连接层）
使用小尺寸 3 ×3 卷积核堆叠
在 ImageNet 上预训练的特征提取能力优秀

新手在实现风格迁移时经常会遇到以下问题：

输入维度不匹配 ：忘记调整图像尺寸或处理批量维度
预处理不一致 ：未使用与预训练模型相同的归一化参数
内存溢出 ：同时处理多张大尺寸图像
特征提取错误 ：选择了不合适的网络层提取风格和内容特征

PyTorch 提供了预训练的 VGG19 模型，加载时需要注意：

import torch
import torchvision.models as models

# 加载预训练模型（注意设置 pretrained=True）vgg19 = models.vgg19(pretrained=True).features

# 冻结所有参数
for param in vgg19.parameters():
    param.requires_grad_(False)

# 转移到 GPU（如果可用）device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
vgg19 = vgg19.to(device)

风格迁移需要同时处理：

内容图像（Content Image）
风格图像（Style Image）
生成图像（Generated Image）

关键技巧：

统一尺寸 ：将所有图像调整为相同尺寸
批量堆叠 ：使用 torch.stack 创建 batch 维度
预处理 ：应用 ImageNet 的标准归一化

from torchvision import transforms

# 定义预处理管道
preprocess = transforms.Compose([transforms.Resize(256),  # 调整尺寸
    transforms.ToTensor(),   # 转为张量
    transforms.Normalize(mean=[0.485, 0.456, 0.406], 
                         std=[0.229, 0.224, 0.225])  # ImageNet 标准化
])

# 加载三张图像并预处理
content_img = preprocess(content_pil).unsqueeze(0).to(device)  # 添加 batch 维度
style_img = preprocess(style_pil).unsqueeze(0).to(device)
generated_img = content_img.clone().requires_grad_(True)  # 可训练参数

# 合并为批量
input_batch = torch.cat([content_img, style_img, generated_img], dim=0)

VGG19 不同层捕获不同级别的特征：

浅层：边缘、纹理等低级特征（适合风格表示）
深层：物体、场景等高级特征（适合内容表示）

# 定义要使用的层
content_layers = ['conv_4']  # 内容表示层
style_layers = ['conv_1', 'conv_2', 'conv_3', 'conv_4', 'conv_5']  # 风格表示层

# 计算 Gram 矩阵（风格特征）def gram_matrix(input):
    _, d, h, w = input.size()
    features = input.view(d, h * w)
    G = torch.mm(features, features.t())
    return G.div(d * h * w)

# 风格迁移完整实现（精简版）import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import transforms, models
from PIL import Image

# 1. 加载模型
vgg19 = models.vgg19(pretrained=True).features
for param in vgg19.parameters():
    param.requires_grad_(False)
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
vgg19 = vgg19.to(device)

# 2. 图像预处理
def load_image(image_path):
    image = Image.open(image_path)
    transform = transforms.Compose([transforms.Resize(256),
        transforms.ToTensor(),
        transforms.Normalize(mean=[0.485, 0.456, 0.406], 
                             std=[0.229, 0.224, 0.225])
    ])
    return transform(image).unsqueeze(0)

# 3. 训练循环
def style_transfer(content_path, style_path, epochs=500):
    content = load_image(content_path).to(device)
    style = load_image(style_path).to(device)
    generated = content.clone().requires_grad_(True)

    optimizer = optim.Adam([generated], lr=0.01)

    for epoch in range(epochs):
        # 提取特征、计算损失、反向传播...
        # 完整实现需要补充特征提取和损失计算部分
        optimizer.step()

    return generated