2024年计算机视觉与数字艺术国际学术会议：基于深度学习的实时艺术风格迁移解决方案

1次阅读

共计 1767 个字符，预计需要花费 5 分钟才能阅读完成。

实时艺术风格迁移技术在移动端部署时面临两个主要挑战：高延迟和风格单一。传统方法如 AdaIN 虽然能够实现风格迁移，但在移动设备上运行时往往需要较高的计算资源，导致延迟显著增加。此外，大多数方法仅支持单一风格的迁移，无法满足用户对多样化艺术风格的需求。

高延迟问题 ：在移动设备上，传统的风格迁移模型往往需要数百毫秒才能完成一帧的处理，这严重影响了用户体验。
风格单一 ：传统方法通常只能处理预训练的风格，缺乏灵活性，无法根据用户需求动态调整风格强度或混合多种风格。

为了解决高延迟问题，我们提出了一种轻量化 CNN 架构。该架构基于 MobileNetV3 和 EfficientNet 的设计思想，但在通道数和层数上进行了优化，以减少计算量。

通道注意力模块 ：通过引入通道注意力机制，模型能够动态调整各通道的权重，从而在减少计算量的同时保持较高的特征表达能力。
自适应风格权重算法 ：该算法通过动态调整风格权重，使得模型能够根据输入内容自适应地选择合适的风格强度。其数学原理基于 Gram 矩阵的加权求和，通过优化权重分布，实现风格的平滑过渡。

动态风格损失函数结合了内容损失和风格损失，通过自适应权重调整，使得模型在训练过程中能够更好地平衡内容和风格的表达。

以下是 PyTorch 实现代码的关键部分：

import torch
import torch.nn as nn
import torch.nn.functional as F

class ChannelAttention(nn.Module):
    def __init__(self, in_channels, reduction_ratio=8):
        super(ChannelAttention, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.fc = nn.Sequential(nn.Linear(in_channels, in_channels // reduction_ratio),
            nn.ReLU(inplace=True),
            nn.Linear(in_channels // reduction_ratio, in_channels),
            nn.Sigmoid())

    def forward(self, x):
        b, c, _, _ = x.size()
        y = self.avg_pool(x).view(b, c)
        y = self.fc(y).view(b, c, 1, 1)
        return x * y

class StyleTransferModel(nn.Module):
    def __init__(self):
        super(StyleTransferModel, self).__init__()
        self.conv1 = nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1)
        self.ca1 = ChannelAttention(64)
        self.conv2 = nn.Conv2d(64, 128, kernel_size=3, stride=2, padding=1)
        self.ca2 = ChannelAttention(128)

    def forward(self, x):
        x = F.relu(self.ca1(self.conv1(x)))
        x = F.relu(self.ca2(self.conv2(x)))
        return x

我们在不同硬件平台上进行了性能测试，结果如下：