中文医学知识图谱实战：从零构建cmekg数据标注词典的完整指南

1次阅读

共计 2143 个字符，预计需要花费 6 分钟才能阅读完成。

医学文本标注是知识图谱构建中最关键的环节之一，但中文医学领域存在三个独特挑战：

术语歧义性 ：比如 ”ACS” 可能是急性冠脉综合征(Acute Coronary Syndrome) 也可能是抗凝血清(Anticoagulant Serum)
表达多样性：同一概念有学术名、俗称、英文缩写等多种形式，例如 ” 心肌梗死 ” 可能被写作 ” 心梗 ”、”MI”、” 心肌梗塞 ” 等
专业门槛高：需要区分相似术语，如 ” 糖尿病 ” 和 ” 糖尿病肾病 ” 在医学上是完全不同的实体

cmekg 词典采用三层架构设计，确保标注的一致性和可扩展性：

概念层：定义医学本体类别（如疾病、药品、检查项目）
实例层：具体医学实体及其所有别名形式（如 ” 阿司匹林 ” 包含 ” 乙酰水杨酸 ” 等别名）
关系层：预定义医学实体间的关系类型（如 ” 治疗 ”、” 禁忌 ”、” 不良反应 ”）

import json
import logging
from pathlib import Path

class CMEGKDictionary:
    def __init__(self, dict_path):
        try:
            with open(dict_path, 'r', encoding='utf-8') as f:
                self.data = json.load(f)
            self._build_index()
            logging.info(f'成功加载词典，共 {len(self.data)} 个条目')
        except Exception as e:
            logging.error(f'词典加载失败: {str(e)}')
            raise

    def _build_index(self):
        """构建术语到标准名的倒排索引"""
        self.term_index = {}
        for std_name, item in self.data.items():
            for alias in item['aliases']:
                self.term_index[alias.lower()] = std_name

import re

class TextPreprocessor:
    @staticmethod
    def clean_medical_text(text):
        """
        医学文本清洗流程：1. 去除特殊字符
        2. 统一全半角
        3. 处理连续空格
        """text = re.sub(r'[\u3000\x00-\x1f\xff]','', text)
        text = text.replace('（', '(').replace('）', ')') 
        return re.sub(r'\s+', ' ', text).strip()

class EntityRecognizer:
    def __init__(self, dictionary):
        self.dict = dictionary

    def recognize(self, text):
        """基于词典的最大正向匹配实体识别"""
        cleaned_text = TextPreprocessor.clean_medical_text(text)
        tokens = cleaned_text.split()
        entities = []

        i = 0
        while i < len(tokens):
            max_len = min(5, len(tokens)-i)  # 最大匹配窗口设为 5
            for l in range(max_len, 0, -1):
                phrase = ' '.join(tokens[i:i+l])
                if phrase.lower() in self.dict.term_index:
                    std_name = self.dict.term_index[phrase.lower()]
                    entities.append({
                        'start': i,
                        'end': i+l,
                        'text': phrase,
                        'type': self.dict.data[std_name]['category']
                    })
                    i += l
                    break
            else:
                i += 1
        return entities

我们在 10 万条医学文本上测试不同方法的识别效果：