基于知识图谱的A股投资分析系统：从数据构建到智能决策

共计 1807 个字符，预计需要花费 5 分钟才能阅读完成。

痛点分析：为什么需要知识图谱

A 股市场的数据分析一直面临几个棘手的问题：

• 非标准化财报数据：上市公司财报格式千差万别，关键指标散落在 PDF 的不同位置
• 隐蔽的企业关联：实际控制人、子公司、供应商等关系需要通过多份公告交叉验证
• 低效的关联分析：传统 SQL 数据库难以处理多层股权穿透查询

我曾经尝试用 Pandas 处理这些数据，但当需要分析 ” 贵州茅台的上游供应商的竞争对手 ” 这类问题时，代码很快就变成了难以维护的嵌套循环。这正是知识图谱的用武之地。

技术架构设计

数据采集层

1. 财报解析流水线

   # 使用 Scrapy+PDFMiner 的示例代码
   class ReportSpider(scrapy.Spider):
       def parse_pdf(self, response):
           from pdfminer.high_level import extract_text
           text = extract_text(io.BytesIO(response.body))
           # 使用正则匹配关键指标
           profit_pattern = r'净利润 (.*?) 亿元'
           matches = re.findall(profit_pattern, text)

2. 处理要点：需要针对不同券商模板编写多个解析规则

3. 异常处理：捕获 PDF 损坏、编码错误等情况

4. 关系数据采集

5. 通过企查查 API 获取股权关系
6. 清洗工商注册地址中的噪音数据

存储层选型对比

我们对比了两种主流图数据库在 1 千万节点下的表现：

最终选择 Neo4j 的原因是其更成熟的 Cypher 语法和可视化工具。

核心实现代码

关系抽取模块

import spacy

nlp = spacy.load('zh_core_web_lg')

def extract_relations(text):
    doc = nlp(text)
    relations = []
    for sent in doc.sents:
        # 规则 1：控股关系
        if '控股' in sent.text:
            for ent in sent.ents:
                if ent.label_ == 'ORG':
                    relations.append((ent.text, 'HOLD', '母公司'))
    return relations

批量导入优化

# 使用 Neo4j 的 UNWIND 实现批量导入
def batch_create_nodes(session, data):
    query = """
    UNWIND $batch as item
    MERGE (c:Company {code: item.code})
    SET c += item.properties
    """
    session.run(query, batch=data)

生产环境经验

动态更新策略

• 每日凌晨更新 ST 股票状态
• 使用 APOC 插件的定时任务功能

CALL apoc.periodic.iterate('MATCH (c:Company) WHERE c.status <>"ST"RETURN c',
  'SET c.status ="ST"',
  {batchSize:1000, parallel:true}
)

性能陷阱规避

1. 避免深度遍历

   // 错误写法 - 可能导致 OOM
   MATCH p=(a)-[*1..10]->(b)
   
   // 正确写法 - 限制路径数量
   MATCH p=(a)-[*1..5]->(b)
   WITH p LIMIT 1000

2. 必须创建索引

   CREATE INDEX FOR (c:Company) ON (c.code);
   CREATE INDEX FOR ()-[r:HOLD]-() ON r.share_ratio;

延伸思考：LLM 的增强应用

我们正在试验以下方向：

1. 用 GPT- 4 解析财报中的 ” 管理层讨论 ” 章节
2. 构建行业事件影响的传播模型
3. 自动生成关联关系描述

flowchart LR
    A[原始 PDF] --> B(LLM 信息抽取)
    B --> C{关系类型?}
    C -->| 控股 | D[股权图谱]
    C -->| 合作 | E[业务图谱]

学习资源推荐

1. 论文：《Knowledge Graph Embedding for Financial Risk Prediction》
2. 开源项目：
3. PyTorch-BigGraph（适合超大规模图谱）
4. OpenSPG（阿里巴巴开源的知识图谱框架）
5. 数据集：CSMAR 中国上市公司数据库

经过三个月的实践，我们的系统成功将关联分析耗时从小时级降到秒级。最大的收获是：在金融领域，关系往往比属性更重要。下次当你看到某上市公司突然涨停时，不妨先查查它的供应商最近发生了什么。