共计 1771 个字符，预计需要花费 5 分钟才能阅读完成。
背景与挑战
红外与可见光图像的跨模态翻译是计算机视觉中的重要任务，在安防监控、医疗影像和自动驾驶等领域有广泛应用。然而，传统方法如 CycleGAN 或 UNIT 需要为每个翻译方向训练独立的模型，这不仅消耗大量计算资源，还可能导致翻译结果不一致。此外，红外和可见光图像之间存在显著的模态差异，传统的对抗训练方法容易产生细节丢失或模态混淆的问题。
模型架构设计
cm-diff 的核心创新在于使用单一扩散模型实现双向跨模态翻译。其架构包含以下关键组件：
- 多模态条件扩散过程 ：通过可学习的模态嵌入向量区分输入图像的模态类型
- 共享 UNet 主干 ：90% 的模型参数在两种翻译方向上完全共享
- 自适应归一化层 ：根据输入模态动态调整特征图的统计量
- 双向训练目标 ：同时优化红外→可见光和可见光→红外两个方向的扩散损失
这种设计使得模型在不同翻译方向上既能保持一致性，又能通过少量模态特定参数捕捉各自的特征分布。
关键代码实现
以下是条件扩散过程的核心 PyTorch 实现（简化版）：
class ConditionalDiffusion(nn.Module):
def __init__(self, model_channels=128):
super().__init__()
# 模态嵌入层 (红外:0, 可见光:1)
self.modal_embed = nn.Embedding(2, 64)
# 共享的 UNet 主干
self.unet = UNet(
in_channels=3,
model_channels=model_channels,
out_channels=3,
channel_mult=(1, 2, 4, 8),
num_res_blocks=2
)
def forward(self, x, modal_label, t):
"""
x: 输入图像 (B,C,H,W)
modal_label: 模态标签 (0 或 1)
t: 扩散时间步 (B,)
"""
# 获取模态嵌入
modal_emb = self.modal_embed(modal_label) # (B,64)
# 将模态嵌入广播到与 UNet 特征图相同的空间尺寸
B, _, H, W = x.shape
modal_emb = modal_emb.view(B, -1, 1, 1).expand(-1, -1, H, W)
# 执行扩散过程
noise_pred = self.unet(x, t, modal_emb)
return noise_pred训练技巧与优化
- 数据预处理
- 对红外图像进行直方图均衡化增强对比度
- 对可见光图像使用 CLAHE 算法保留细节
-
采用随机水平翻转和 90 度旋转增强
-
损失函数设计
- 基础扩散损失：预测噪声与真实噪声的 MSE
- 模态一致性损失：确保翻译后的图像能被分类器正确识别
-
感知损失：使用预训练 VGG 网络保持高级语义特征
-
超参数调优
- 扩散步数：1000 步效果最佳
- 学习率：初始 2e-5，余弦退火调度
- 批大小：根据 GPU 内存尽可能大（建议≥16）
性能对比
在 FLIR 数据集上的实验结果（数值越高越好）：
| 方法 | PSNR(红外→可见光) | SSIM(红外→可见光) | PSNR(可见光→红外) | SSIM(可见光→红外) |
|---|---|---|---|---|
| CycleGAN | 22.34 | 0.781 | 21.89 | 0.768 |
| UNIT | 23.17 | 0.792 | 22.45 | 0.776 |
| cm-diff | 25.63 | 0.827 | 24.91 | 0.813 |
部署中的常见问题及解决方案
- 模态混淆问题
- 现象：翻译后的图像包含源模态的特征
-
解决：增强模态嵌入的区分度，增加模态分类辅助任务
-
细节丢失问题
- 现象：高频纹理信息模糊
-
解决：在损失函数中加入小波变换系数约束
-
训练不稳定
- 现象：损失值剧烈波动
- 解决：采用梯度裁剪，适当降低学习率
应用前景与思考
cm-diff 的技术路线可扩展到其他跨模态任务，如：
– 医学影像：CT 与 MRI 之间的相互转换
– 遥感图像：多光谱与全色图像的融合
– 低光照增强：极暗环境与正常光照图像的转换
值得思考的是，这种单一网络架构是否能够推广到三个或更多模态的翻译场景？当模态差异极大时（如文本与图像的跨模态），当前方法可能面临哪些新的挑战？这些开放性问题为后续研究提供了有趣的方向。
参考文献
- Ho et al. Denoising Diffusion Probabilistic Models. NeurIPS 2020
- Saharia et al. Palette: Image-to-Image Diffusion Models. SIGGRAPH 2022
- 本工作相关论文（待发表）
正文完
