BeautyGAN 美妆迁移中的损失函数优化实战：从原理到调参技巧

1次阅读

没有评论

共计 2142 个字符，预计需要花费 6 分钟才能阅读完成。

在美妆迁移任务中，BeautyGAN 需要将参考图像的妆容风格迁移到目标人脸上，同时保持目标人脸的身份特征。传统方法使用 L1/L2 损失函数往往会导致以下问题：

唇色溢出 ：口红颜色扩散到嘴唇周围皮肤区域，边缘不自然
眼影边界模糊 ：眼影与皮肤过渡生硬，缺乏真实妆容的渐变效果
肤色失真 ：妆容颜色与目标人脸肤色不协调，显得突兀

这些问题主要是因为像素级的 L1/L2 损失无法捕捉妆容的风格特征和空间关系。我们需要更智能的损失函数来指导生成器学习。

BeautyGAN 采用多损失函数组合的方式，主要包括：

内容损失（Content Loss）：保持目标人脸的身份特征
风格损失（Style Loss）：迁移参考图像的妆容风格
对抗损失（Adversarial Loss）：提高生成图像的逼真度

传统感知损失只在单一尺度计算特征差异，而多尺度感知损失在多个层次捕捉妆容特征：

# VGG16 特征提取器 (去除全连接层)
vgg = torchvision.models.vgg16(pretrained=True).features[:23]

# 多尺度感知损失计算
def perceptual_loss(real, fake, scales=[1, 0.5, 0.25]):
    loss = 0
    for scale in scales:
        # 下采样到不同尺度
        real_scaled = F.interpolate(real, scale_factor=scale)
        fake_scaled = F.interpolate(fake, scale_factor=scale)

        # 提取 VGG 特征并计算 L1 距离
        real_feat = vgg(real_scaled)
        fake_feat = vgg(fake_scaled)
        loss += F.l1_loss(real_feat, fake_feat)
    return loss / len(scales)

不同损失项的权重需要根据具体任务调整：

λ1(内容损失权重)：通常设为 1.0，保证身份特征
λ2(风格损失权重)：0.5-1.5，控制妆容强度
λ3(对抗损失权重)：0.1-0.3，避免模式崩溃

def wgan_gp_loss(D, real, fake, lambda_gp=10):
    # 随机插值样本
    alpha = torch.rand(real.size(0), 1, 1, 1).to(real.device)
    interpolates = (alpha * real + (1 - alpha) * fake).requires_grad_(True)

    # 计算梯度惩罚项
    d_interpolates = D(interpolates)
    gradients = torch.autograd.grad(
        outputs=d_interpolates,
        inputs=interpolates,
        grad_outputs=torch.ones_like(d_interpolates),
        create_graph=True,
        retain_graph=True
    )[0]

    # 梯度惩罚计算
    gradients = gradients.view(gradients.size(0), -1)
    gradient_penalty = ((gradients.norm(2, dim=1) - 1) ** 2).mean() * lambda_gp

    # WGAN 损失
    d_loss = D(fake).mean() - D(real).mean() + gradient_penalty
    g_loss = -D(fake).mean()

    return d_loss, g_loss

对于唇色饱和度问题，可以转换到 Lab 色彩空间单独调整 a / b 通道：

def adjust_lab_saturation(img, saturation_factor=1.2):
    # RGB 转 Lab
    lab = kornia.color.rgb_to_lab(img)

    # 调整 ab 通道 (颜色分量)
    lab[:, 1:3, :, :] = lab[:, 1:3, :, :] * saturation_factor

    # 裁剪到合法范围
    lab[:, 1:3, :, :] = torch.clamp(lab[:, 1:3, :, :], -128, 127)

    # Lab 转 RGB
    return kornia.color.lab_to_rgb(lab)