AIToD数据集实战：如何解决多模态任务中的标注不一致问题

1次阅读

没有评论

共计 1515 个字符，预计需要花费 4 分钟才能阅读完成。

多模态数据集（如 AIToD）中的标注不一致问题主要体现在以下方面：

文本 - 视觉对齐偏差：描述性文本与对应视觉内容存在语义断层。例如 AIToD 中「用户指向屏幕左侧」的标注，实际物体可能位于画面中央区域。
标注者主观差异：不同标注者对「复杂场景理解」的阈值不同，导致同一视频帧可能被标注为「简单询问」或「复杂请求」。
跨模态时序错位 ：语音转录文本与视觉事件的时间戳未严格同步，造成对话状态追踪(DST) 的标签漂移。

通过 Self-Attention/ 自注意力计算文本 (T) 和视觉 (V) 模态的相似度矩阵：

$$A_{ij} = \frac{(TW_Q)(VW_K)^T}{\sqrt{d_k}}$$

其中 $W_Q/W_K$ 为可学习参数，$d_k$ 为维度缩放因子。一致性得分计算采用双向 MaxPooling：

$$S_{consist} = \frac{1}{2}(max(A_{T→V}) + max(A_{V→T}))$$

import torch
import torch.nn as nn

class ConsistencyEvaluator(nn.Module):
    def __init__(self, hidden_dim=768):
        super().__init__()
        self.query = nn.Linear(hidden_dim, hidden_dim)
        self.key = nn.Linear(hidden_dim, hidden_dim)

    def forward(self, text_feats, visual_feats):
        # 计算跨模态注意力
        Q = self.query(text_feats)  # [batch, seq_len, dim]
        K = self.key(visual_feats)  # [batch, feat_num, dim]
        attn = torch.bmm(Q, K.transpose(1,2)) / (hidden_dim**0.5)

        # 双向最大池化
        text_to_vis = attn.max(dim=2)[0].mean()
        vis_to_text = attn.max(dim=1)[0].mean()
        return (text_to_vis + vis_to_text) / 2

# F1-score 计算示例
def calc_f1(pred, gold):
    tp = ((pred==1) & (gold==1)).sum()
    precision = tp / (pred.sum() + 1e-6)
    recall = tp / (gold.sum() + 1e-6)
    return 2 * (precision*recall) / (precision+recall+1e-6)