CCKS金融数据集实战指南：从数据预处理到知识图谱构建

1次阅读

没有评论

共计 2078 个字符，预计需要花费 6 分钟才能阅读完成。

CCKS（全国知识图谱与语义计算大会）金融数据集是国内金融领域最具代表性的开放数据集之一。该数据集主要包含上市公司公告、金融新闻等非结构化文本，具有以下特点：

专业性强：包含大量金融术语（如 ”ROE”、” 资产负债率 ”）和复杂金融事件
实体关系复杂：企业间存在投资、控股、担保等多维度关系
数据噪声多：PDF 转换文本常含格式错误、表格数据错位等问题

典型应用场景包括：上市公司风险预警、企业关联网络分析、金融事件时序推理等。

金融文本常含半结构化内容（如财务报表表格）与自由文本混合。需要特殊处理：

使用 pdfplumber 提取 PDF 表格数据时，需处理跨页表格
正则表达式清洗特殊字符（如 ▲1.2% 这类涨跌幅标记）
段落重组时需保留原文语义连贯性

传统 NER 模型在金融领域表现不佳，因为：

术语存在缩写变体（如 ” 净利润 ” 可能记为 ” 归母净利润 ”）
同一实体在不同语境指代不同（如 ” 平安 ” 可能指公司或保险产品）

金融关系常具有：

时间敏感性（担保关系存在有效期）
概率性（” 可能发生债务违约 ”）
多层嵌套（通过子公司间接控股）

import spacy
from spacy.matcher import PhraseMatcher

# 加载金融术语词典
fin_terms = ["ROE", "现金流量表", "商誉减值"]

nlp = spacy.load("zh_core_web_sm")
matcher = PhraseMatcher(nlp.vocab)
patterns = [nlp(text) for text in fin_terms]
matcher.add("FIN_TERMS", patterns)

doc = nlp("2023 年 ROE 同比下降引发商誉减值风险")
matches = matcher(doc)

for match_id, start, end in matches:
    print(f"发现金融术语: {doc[start:end]}")

from transformers import BertTokenizer, BertForSequenceClassification

# 加载预训练金融关系模型
model = BertForSequenceClassification.from_pretrained("finbert-relation")
tokenizer = BertTokenizer.from_pretrained("finbert-relation")

text = "阿里巴巴收购饿了么"
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)

# 输出预测关系类型
relation_types = ["投资", "控股", "合作"]
pred_label = outputs.logits.argmax().item()
print(f"识别关系: {relation_types[pred_label]}")

特性	Neo4j	NebulaGraph
查询语言	Cypher	nGQL
分布式支持	企业版支持	原生支持
金融场景适配	社区插件丰富	高性能批量导入

使用生成器处理大文件：

def batch_read(file_path, batch_size=1000):
    with open(file_path) as f:
        while True:
            batch = [line.strip() for line in itertools.islice(f, batch_size)]
            if not batch:
                break
            yield batch

对文本数据进行分块处理时，注意保持句子完整性

from concurrent.futures import ThreadPoolExecutor

with ThreadPoolExecutor(max_workers=4) as executor:
    results = list(executor.map(process_text, text_chunks))