CMEEE-V2 模型解析：如何登顶 CBLUE 中文医疗 SOTA F1 Score Leaderboard

1次阅读

没有评论

共计 1731 个字符，预计需要花费 5 分钟才能阅读完成。

CBLUE（Chinese Biomedical Language Understanding Evaluation）是目前中文医疗 NLP 领域最具权威的评测基准，包含实体识别、关系抽取、问答等 8 个子任务。医疗文本具有以下独特挑战：

专业术语密集：如 ” 冠状动脉粥样硬化性心脏病 ” 等长尾术语
表述多样性：同一概念存在临床术语、俗称、缩写等多种表达
标注成本高：需要医学专家参与，数据稀缺性问题突出

CMEEE-V2 的核心创新在于三阶段训练框架：

通用预训练：基于 RoBERTa-wwm-ext 初始化
领域持续预训练：
使用 400 万份中文电子病历进行 MLM 训练
创新性地加入医学术语替换增强（Medical Term Replacement）
任务微调：
采用对抗训练缓解过拟合
设计分层学习率（底层参数 lr=1e-5，顶层 lr=3e-5）

关键公式：术语替换概率计算

P_{replace} = \frac{TF(t)}{\max(TF)} \cdot \frac{1}{\sqrt{len(t)}}

def medical_term_replacement(text, term_dict):
    """
    :param text: 原始文本
    :param term_dict: 医学术语词典 {term: [同义词 1, 同义词 2]}
    """
    for term in sorted(term_dict.keys(), key=len, reverse=True):
        if term in text and random.random() < calc_replace_prob(term):
            synonym = random.choice(term_dict[term])
            text = text.replace(term, synonym)
    return text

class FGM():
    def __init__(self, model):
        self.model = model
        self.backup = {}

    def attack(self, epsilon=0.3):
        for name, param in self.model.named_parameters():
            if param.requires_grad and "emb" in name:
                self.backup[name] = param.data.clone()
                norm = torch.norm(param.grad)
                if norm != 0:
                    r_at = epsilon * param.grad / norm
                    param.data.add_(r_at)

    def restore(self):
        for name, param in self.model.named_parameters():
            if name in self.backup:
                param.data = self.backup[name]
        self.backup = {}

在 CBLUE 测试集上的表现对比：