2025泰迪杯数据挖掘竞赛B题解决方案：基于多模态融合的异常检测算法实战

1次阅读

共计 2490 个字符，预计需要花费 7 分钟才能阅读完成。

异常检测在工业场景中至关重要，但 2025 泰迪杯 B 题的数据呈现三大挑战：

多源异构性：数据来自振动传感器、红外热像仪等多类设备，采样频率和维度差异大（如振动信号 10kHz 采样 vs 热图像 1Hz 采样）
时空关联性：设备异常往往表现为空间局部热点与时序突变的组合模式
标签稀疏性：实际生产中异常样本占比通常不足 1%，传统单模态检测面临两大困境：
振动信号单独检测对缓慢发展的热故障不敏感
纯视觉方法易受环境光照干扰

CNN：
优势：擅长提取局部空间特征（如热图像中的高温区域）
劣势：难以建模长时序依赖（需堆叠过多卷积层）
LSTM：
优势：天然适合时序信号处理
劣势：空间特征提取能力弱
Transformer：
优势：通过自注意力同时捕获时空关系
劣势：计算复杂度随序列长度平方增长

最终选择CNN+Transformer 双流架构，兼顾计算效率与特征表达能力。

融合方式	计算开销	信息保留度	实现难度
Early Fusion	低	差	简单
Late Fusion	中	中等	中等
Hybrid Fusion	高	优	复杂

采用 特征级 Late Fusion，在 Backbone 网络后添加可学习的融合层，平衡性能与复杂度。

class DualStreamNetwork(nn.Module):
    def __init__(self):
        super().__init__()
        # 视觉流: ResNet18+Positional Encoding
        self.visual_stream = ResNet18(input_channels=3)  
        # 时序流: 1D CNN + Transformer Encoder
        self.temporal_stream = nn.Sequential(nn.Conv1d(1, 64, kernel_size=7, stride=2),  # [bs,64,500]
            TransformerEncoder(d_model=64, nhead=8)    
        )
        # 跨模态注意力融合层
        self.fusion_layer = CrossModalAttention(
            embed_dim=512,  # 视觉特征维度
            num_heads=8
        )

# 输入张量形状说明
# visual_feat: [bs, 512, 14, 14]  
# temporal_feat: [bs, 64, 100]  
class CrossModalAttention(nn.Module):
    def forward(self, visual_feat, temporal_feat):
        # 空间特征展平
        v_flat = visual_feat.flatten(2)  # [bs,512,196]
        # 时序特征维度对齐
        t_proj = self.proj(temporal_feat)  # [bs,512,100] 
        # 计算交叉注意力
        attn = torch.matmul(v_flat.transpose(1,2),  # [bs,196,512]
            t_proj.transpose(1,2)   # [bs,100,512]
        )  # 得到 [bs,196,100] 的注意力图
        # 加权融合
        fused_feat = torch.matmul(attn, t_proj)  # [bs,196,512]
        return fused_feat.reshape_as(visual_feat)

采用改进的 Focal Loss 缓解类别不平衡：

class FocalLoss(nn.Module):
    def __init__(self, alpha=0.25, gamma=2):
        super().__init__()
        self.alpha = alpha  # 平衡因子
        self.gamma = gamma  # 困难样本聚焦参数

    def forward(self, pred, target):
        bce_loss = F.binary_cross_entropy_with_logits(pred, target, reduction='none')
        pt = torch.exp(-bce_loss)
        loss = self.alpha * (1-pt)**self.gamma * bce_loss
        return loss.mean()

采样率不匹配：
错误做法：直接对高频信号降采样
正确方案：使用时序插值 + 滑动窗口同步
时间戳漂移：
必须检查各传感器时钟同步误差
推荐使用 NTP 协议校准
单位不一致：
振动信号（g）与温度（℃）需做 min-max 归一化

梯度累积：

for i, data in enumerate(dataloader):
    pred = model(data)
    loss = criterion(pred, target)
    loss = loss / 4  # 假设累积 4 步
    loss.backward()
    if (i+1) % 4 == 0:
        optimizer.step()
        optimizer.zero_grad()

混合精度训练：

scaler = GradScaler()
with autocast():
    pred = model(data)
    loss = criterion(pred, target)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()